Co-evolution of human and technology
e-Stat を渉猟していると面白いファイルを見つけた．国勢調査は 1920 年から開始されており， 2020 年 3 月現在では最新の調査結果は 2015 年のものである．20 回分の人口データが一つのファイルにまとめられており，グラフ化するには格好のデータである．
年齢（5歳階級），男女別-都道府県（大正9年～平成27年）というファイルである．リンク先のページにはファイルが 3 つあるが，最後のものが最も粒度が細かいので，これをグラフ化する．
人口統計は最も重要な基幹統計の一つである．総務省の e-Stat は確かに有用であるが，かゆいところに手が届かない．例えば「市区町村ごと，年齢５歳階級ごとの人口構成の国勢調査ごとの推移を知りたい」という要求には全く無力である．
主として技術的な理由によるものと，統計調査の粒度の細かさによる．技術的な理由としては，データベースの画面表示セル数の上限を容易に超えてしまうデータ量になってしまうことである．しかし，根本的な理由は調査の粒度の細かさである．
2005 年以前と 2010 年以降とでは調査の精度が違う．今後は高精度なデータファイルが e-Stat に掲載されていくものと思われるが，2005 年以前に関しては都道府県より細かい粒度は存在しない．そこを求めると手作業になってしまい，現実的ではない．国立社会保障・人口問題研究所ならデータを持っているかもしれない．
2020 年は国勢調査の年にあたる．総務省にはできるだけ細かい粒度でのデータ掲載を望むものである．
また面倒な統計を見つけてしまった．Power Query に食わせれば早いのかも知れないが，どうにも埒が明かないので手動でデータを整形することになった．頼むから第一正規形で公開してくれ…
散布図におけるオブジェクトは以前の記事 VBAから見たEXCELの散布図 で取り上げた．今回はバブルチャートのデータ系列を調べたので備忘録がてら公開する．
これまでは日本の都市人口の過去の推移を見てきた．総務省には日本の都市人口の推移予測がある．今回はこのデータをグラフにする．
データを可視化するにあたり，重要なのは引き算である．強調すべき系列のみを強調するために，VBA の知識が欠かせない．
グラフの系列にデータラベルを表示する方法にはいくつかある．
EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．
データベースに接続して一つのテーブルをインポートするのは比較的簡単であるが，複数のテーブルを結合した状態でインポートする方法が長らく分からないままだった．
Power Query を使ってクエリを結合する方法で解決したので備忘録がてら記事とする．
総務省の e-Stat から全国の市区町村の財政状況を垣間見る．衰退する都市には財政破綻の徴候が見られるはずである．今回は財政力指数，経常収支比率，実質公債費比率，地方債現在高に注目する．
総務省統計ポータル e-Stat からのデータに全国の市区町村の人口推移があった．マーク・ブキャナンの「歴史はべき乗則で動く」の p 261 に「人口が半分の都市は四つある」とある．本当だろうか．検証してみた．
最近はとにもかくにも Power Query である．しかしながら，そのプロセスを VBA で記述したものを見ることが少ない．検索の仕方が悪いだけかも知れないが．
今回は外部データベースへの接続として Ubuntu 上の SQL Server を選んでみた．今回，Windows 上の SQL Server Management Studio から Ubuntu 上の SQL Server にデータベースを作成し，テーブルを挿入するの記事で作成したデータベースがあったので，これに接続してみることにした．