リレーショナルデータベース

QGISのフィールド計算機で国土数値情報の河川データの属性を修正する

　国土交通省の国土数値情報の河川データには不備がある．テーブル構造の不一致についてはテーブル構造の修正には「属性のリファクタリング」で修正方法を述べた．今回は属性テーブルの値を修正する．

　値を修正するだけのつもりでいたが，結局「属性のリファクタリング」まで手を出してしまった．おかでげ国土数値情報の河川データはほぼ修正できたと思う．

　前回の記事ではフォルダーから一括してデータを読み込む方法を紹介した．今回は月次の更新ファイルを読み込んで既存のテーブルにデータを追記する方法を紹介する．

　既に読み込んだファイルは拒否したい．監査としてのワークシートが必要だ．リレーショナルデータベースならデータの一意制約から可能だが，EXCEL では自前で作る必要がある．

　色々と挑戦しがいのある課題であった．

　また面倒な統計を見つけてしまった．Power Query に食わせれば早いのかも知れないが，どうにも埒が明かないので手動でデータを整形することになった．頼むから第一正規形で公開してくれ…

　データベースに接続して一つのテーブルをインポートするのは比較的簡単であるが，複数のテーブルを結合した状態でインポートする方法が長らく分からないままだった．

　Power Query を使ってクエリを結合する方法で解決したので備忘録がてら記事とする．

　EXCEL のワークシートに格納できるレコード数は 1,048,576 行である．今回 e-Stat からダウンロードしたファイルをピボット解除したらその上限を超えてしまったのでその記事を書こう．

　読者がどの街に住んでいるか，俺は知らない．だが，将来読者の住む街の運命はほぼ確信を持って予言できる．今後しばらく繁栄が続くか，それとも衰退していくのかは，人口から予測できる．今日の記事ではその予測をデータを基に示す．後半は技術的な話題となる．

　EXCEL VBA に至る前の段階としてマクロの記録がある．いわゆる「表モード」をそのまま記録したものである．ソートはこれまで .Add メソッドが中心であったが，最近になって .Add2 メソッドが追加された．それに伴い，引数 Key の Range オブジェクトの記述が若干変わった．

　日本の人口統計は総務省が 5 年おきに行う国勢調査が元になっている．日本の市の人口順位をEXCELにダウンロードして散布図に描くでは日本全国の都市の人口増減率と人口の関係を時系列で流すとどう推移するか予測した．今回はその予測が実態と合っているか乖離しているかの検証を行う．

　Excelのピボットテーブルでクロス集計から統計解析まででも書いたが，統計解析の醍醐味は多変量解析にある．単変量解析では変数間の交絡の可能性が否定できず，重要なポイントを見落とすことがある．

　統計の専門家ではないので完全に我流の方法であるが，多変量解析における変数選択の参考になるかと思い，記しておく．

　過去に査読者とのやり取りの中で，変数選択の方法をかなり具体的に指示され，その通りにしないと通さないぞという言外の圧力を感じたことがある．

　その時は違和感を感じつつもその通りにしたら通ったのだが，どうにもその違和感がずっと残っていた．いわく，単変量解析で有意になった変数のみを組み合わせて多変量解析に持ち込む，という手法だったのだが，本当にそれで良かったのだろうか？

　先週の記事では SQL Server 2017 のデータベースエンジンをインストールした．今回は SQL Server Data Tools 2017 をインストールしたので備忘録を兼ねて公開する．