正規化 – Hymn

QGISのフィールド計算機で国土数値情報の河川データの属性を修正する

　国土交通省の国土数値情報の河川データには不備がある．テーブル構造の不一致についてはテーブル構造の修正には「属性のリファクタリング」で修正方法を述べた．今回は属性テーブルの値を修正する．

　値を修正するだけのつもりでいたが，結局「属性のリファクタリング」まで手を出してしまった．おかでげ国土数値情報の河川データはほぼ修正できたと思う．

　これまでは日本の都市人口の過去の推移を見てきた．総務省には日本の都市人口の推移予測がある．今回はこのデータをグラフにする．

　データを可視化するにあたり，重要なのは引き算である．強調すべき系列のみを強調するために，VBA の知識が欠かせない．

　グラフの系列にデータラベルを表示する方法にはいくつかある．

　EXCEL VBAで複数の散布図を敷き詰めて並べるでは散布図を都道府県の数だけ敷き詰めて並べた．今回はその散布図一つ一つにデータ系列を追加する．

　Excelのピボットテーブルでクロス集計から統計解析まででも書いたが，統計解析の醍醐味は多変量解析にある．単変量解析では変数間の交絡の可能性が否定できず，重要なポイントを見落とすことがある．

　統計の専門家ではないので完全に我流の方法であるが，多変量解析における変数選択の参考になるかと思い，記しておく．

　過去に査読者とのやり取りの中で，変数選択の方法をかなり具体的に指示され，その通りにしないと通さないぞという言外の圧力を感じたことがある．

　その時は違和感を感じつつもその通りにしたら通ったのだが，どうにもその違和感がずっと残っていた．いわく，単変量解析で有意になった変数のみを組み合わせて多変量解析に持ち込む，という手法だったのだが，本当にそれで良かったのだろうか？

　文部科学省には日本標準食品成分表のデータがある．食品の栄養素の計算に用いられるデータで，食品成分データベースやフィットネス，ダイエット関連アプリのデータベースの基本となっているものである．

　このデータは 5 年ごとに更新されており，最新のデータは 2015 年のものである．次の更新は 2020 年の予定である．今回の記事ではこのデータをダウンロードし，クレンジングを行う．

　先週の記事では SQL Server 2017 のデータベースエンジンをインストールした．今回は SQL Server Data Tools 2017 をインストールしたので備忘録を兼ねて公開する．