PowerPivotで100万件超えのデータを取り出す

「Power Pivot」タブ「データモデル」から「管理」

 EXCEL のワークシートの仕様上,100 万件を超えるデータは扱えない.これは大規模なデータを扱う際の制約である.180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが,この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない.

 SQL Server で PowerQuery が使えればこういった制約を回避できるのだが,ないものは仕方がない.今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す.

“PowerPivotで100万件超えのデータを取り出す” の続きを読む

VBA から見た EXCEL の散布図の点と線

 「全国の自治体の人口動態を時系列で一枚の散布図に示す」というプロジェクトを自分で掲げたのであるが,その過程で EXCEL の仕様や制約を通じて EXCEL を理解するという段階に至った.

 今回は散布図の要素である系列の点と線について述べる.

“VBA から見た EXCEL の散布図の点と線” の続きを読む

多変量解析の前に相関行列を見よう

 Excelのピボットテーブルでクロス集計から統計解析まででも書いたが,統計解析の醍醐味は多変量解析にある.単変量解析では変数間の交絡の可能性が否定できず,重要なポイントを見落とすことがある.

 統計の専門家ではないので完全に我流の方法であるが,多変量解析における変数選択の参考になるかと思い,記しておく.

 過去に査読者とのやり取りの中で,変数選択の方法をかなり具体的に指示され,その通りにしないと通さないぞという言外の圧力を感じたことがある.

 その時は違和感を感じつつもその通りにしたら通ったのだが,どうにもその違和感がずっと残っていた.いわく,単変量解析で有意になった変数のみを組み合わせて多変量解析に持ち込む,という手法だったのだが,本当にそれで良かったのだろうか?

“多変量解析の前に相関行列を見よう” の続きを読む

SQL Serverのデータベースをバックアップから復元する

 10 年ほど前に作ったデータベースを古い端末のバックアップから復元したので備忘録として公開する.

 細かい手順は公式のサイトを参照されたいが,ここの情報が役に立った.

 古い端末には SQL Server 2012 がインストールしてあり,今の端末には SQL Server 2017 がインストールしてある.

 SQL Server のバックアップには二種類ある.データベースとしてバックアップする方法と,ファイルとしてバックアップする方法だ.前者はなぜか上手くいかない.今回は後者でバックアップファイルを作成したところ,うまく行った.まあ結果オーライだ.

“SQL Serverのデータベースをバックアップから復元する” の続きを読む