オーバーフロー

色の知覚(1)太陽光

　色彩に関してはこれまで先人の膨大な研究の積み重ねがある．その一端を紹介し，色の物理的性質から生理的反応への橋渡しについて考察する．

　今回は太陽光について調べた．データベースは主に National Renewable Energy Laboratory から取った．日本国内にも太陽光についてのデータベースは気象庁や新エネルギー・産業技術総合開発機構がデータを公開している．

　これまでは日本の都市人口の過去の推移を見てきた．総務省には日本の都市人口の推移予測がある．今回はこのデータをグラフにする．

　データを可視化するにあたり，重要なのは引き算である．強調すべき系列のみを強調するために，VBA の知識が欠かせない．

　グラフの系列にデータラベルを表示する方法にはいくつかある．

　EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．

　SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．

　EXCEL のワークシートに格納できるレコード数は 1,048,576 行である．今回 e-Stat からダウンロードしたファイルをピボット解除したらその上限を超えてしまったのでその記事を書こう．

　基幹データベースが Oracle DB の場合，最も基本的なデータ抽出方法の一つに SQL*Plus がある．SI Object Browser などもあるが基本有償で，個人で購入するには少し敷居が高い．

　SQL*Plus でどこまでできるかは勉強中のため未知数だが，あらかじめ .sql ファイルを作っておいて実行するなら心理的な障壁も下がる．

　今回は泥臭い話になる．どんなプログラミングでも同じだが，一発で意図通りに動くことはまずない．試行錯誤の末，ようやくこんなものかという出来上がりである．SQL においても同じだ．クエリでは NULL の扱いが難しい．そんなところを感じ取ってもらえればと思う．