熱中症の搬送人員数が月平均気温と負の相関があるとの情報を得た．普段涼しい地域ほど日最高気温の上昇に弱いという意味である．普段涼しいということを表現するには過去30日間の日平均気温の平均を取ればよいだろうと判断した．こうなるとSQL Serverのウィンドウ関数の出番である．
熱中症搬送人員数に都道府県人口をオフセット項として追加し一般化線形回帰分析を行う
以前の記事ではポアソン回帰モデルおよび負の二項分布モデルを用いて熱中症搬送人員数に対する日最高気温と平均水蒸気圧の回帰係数を推定した．
人口10万人あたり何名の罹患者数，というのは割り算値である．総務省消防庁の公開している熱中症搬送人員数は都道府県ごとの搬送数であり，もともと都道府県別人口が異なるのだから搬送人員数を都道府県人口で割った割合のほうが指標として適切なのではないか，という指摘は一理ある．
しかし，割り算値ではなく実数を解析すべきである．変形した観測値を統計モデルの応答変数にするのは不必要であるばかりか，誤った結果を導きかねないからである．割り算値からは確からしさの情報が失われること，変換された値の分布が不明であることから，割り算値は避けるべきである．その代わりに割り算の分母をオフセット項として線形予測子に組み込む手法がある．
熱中症搬送人員数はカウントデータであり，その期待値は集計ゾーンの集計対象人口に依存する．都道府県人口をオフセット項とすることで，都道府県の人口規模の影響を調整した回帰分析ができる．今回は都道府県人口をオフセット項として線形予測子に組み込み，一般化線形回帰分析を行ってみた．
第 7 章 ジオコーディング (Beginning Spatial with SQL Server 2008)
これまで数章にわたって，多くの異なる技術を紹介してきた．その技術により SQL Server 2008 内に空間データを追加できる．geometry 型および geography 型の静的メソッドを WKT, WKB および GML などのジオメトリ表現と共に直接使用する，Virtual Earth ウェブコントロール上にプロットポイントにより空間の特徴を視覚的にマークする，あるいは，様々な他の空間データフォーマットから既に存在する空間データをインポートする．本章では，SQL Server において空間情報のアイテムを定義するのを助けてくれる最後の一つの技術について考察しよう．ジオコーディングである．
注意 本章で議論しているジオコーディングの方法は .NET アセンブリの生成を必要とする．それにより SQLCLR の機能を拡張し，外部ウェブサービスとの連携が可能となる．このアセンブリを生成するのに使われたサンプルコードに従うには，Microsoft Visual Studio を使わなくてはならない．使用可能な Visual Studio には多くのエディションが存在する．本章でのコードは Microsoft Visual Basic 2008 Express Edition でも Microsoft Visual C# 2008 Express Edition でも動作し，どちらも無料で http://www.microsoft.com/express/download/ からダウンロードできる．
“第 7 章 ジオコーディング (Beginning Spatial with SQL Server 2008)” の続きを読む
色の知覚(1)太陽光
色彩に関してはこれまで先人の膨大な研究の積み重ねがある．その一端を紹介し，色の物理的性質から生理的反応への橋渡しについて考察する．
今回は太陽光について調べた．データベースは主に National Renewable Energy Laboratory から取った．日本国内にも太陽光についてのデータベースは気象庁や新エネルギー・産業技術総合開発機構がデータを公開している．
第 6 章 空間データをインポートする (Beginning Spatial with SQL Server 2008)
多くの空間アプリケーションがカスタム定義の空間機能を組み合わせている．例えば顧客セットの局在と，広く受け入れられた表現の空間データ，地球上の汎用性のある特徴，例えば国や州の境界線，世界の主要都市の局在および主要な道路や鉄道の経路などである．この情報は自分自身で作成するよりも，多くの代替可能な資源が存在しており，そこから普通に使うための空間データを取得して空間アプリケーションに搭載できる．
本章では，そこから一般公開された空間情報を取得できる資源，そこでそのデータが普通に提供されるフォーマットおよびその情報を SQL Server にインポートするのに使える技術を紹介しよう．
“第 6 章 空間データをインポートする (Beginning Spatial with SQL Server 2008)” の続きを読む
厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する
新型コロナウイルスのパンデミック宣言以降，Twitter でフォローしているアカウントに自然と相互協調の動きがみられる．
厚労省が「地域ごとのまん延の状況に関する指標等」の公表を開始。
— にゃんこそば (@ShinagawaJP) 2020年4月23日
都道府県ごとの①確定患者数、②リンクが不明な患者数、③相談件数、④PCR検査の実施数…と、必要な情報を一通り網羅しています。
が、ファイルはまさかのPDF形式。ExcelかCSVも提供してくれれば…https://t.co/Ox5rU6m1Xo
このツイートから始まった一連のやりとりで，厚労省の発表した PDF からテーブルを抽出するくだりに注目した．
失礼します。今、マクロソフト Power BI デスクトップを使用したところ無事PDFを読み込めました。また、列のピボット解除という機能を使うことで、クロス集計表を添付のような集計用フォーマットに加工できます。 pic.twitter.com/FEV0SBSito
— Akira Takao (@modernexcel7) 2020年4月23日
今回はここを画像つきで実施してみた．
“厚労省「地域ごとのまん延の状況に関する指標等」の PDF から Power BI Desktop でデータを抽出し EXCEL のグラフに表現する” の続きを読む
PowerPivotで100万件超えのデータを取り出す
EXCEL のワークシートの仕様上，100 万件を超えるデータは扱えない．これは大規模なデータを扱う際の制約である．180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが，この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない．
SQL Server で PowerQuery が使えればこういった制約を回避できるのだが，ないものは仕方がない．今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す．
SQL Serverに接続してインポートしたテーブルを結合する
データベースに接続して一つのテーブルをインポートするのは比較的簡単であるが，複数のテーブルを結合した状態でインポートする方法が長らく分からないままだった．
Power Query を使ってクエリを結合する方法で解決したので備忘録がてら記事とする．
EXCEL VBA の参考書籍
EXCEL も少しずつ進化している．かつて参考にしていた書籍も少しずつ齟齬が目立ってきたため，書籍を買い直し始めている．
今回は EXCEL VBA について参考にした書籍を紹介したい．
EXCEL VBA でピボットテーブルの挿入を記録する
ピボットテーブルは EXCEL に初期から搭載されている分析ツールである．ピボットグラフで未だに散布図が描けないという致命的な欠陥があるが，それでも有用なツールであることに変わりはない．
今回の記事はコードの整形ができていない．PivotTable オブジェクトのプロパティが膨大で手がつけられなかったためである．時間がある時に取り組みたい．