国連の人口データおよび世界銀行のGDPデータをダウンロードする

国連のサイトに遷移する.Download Data Filesをクリックする

 世界各国の人口推移およびGDP推移を取得したい.そんな場合は国連世界銀行のデータを活用する.今回は国連から人口推移,世界銀行からGDP推移のデータをそれぞれ取得したので経緯を紹介する.

“国連の人口データおよび世界銀行のGDPデータをダウンロードする” の続きを読む

階乗の自然対数を求めるユーザー定義のスカラー値関数をSQL Serverで定義する

SQL Server

 Fisherの直接確率を求める際,階乗の計算が必要になる.しかし,引数が最大でも170までと使い勝手が良くない.これはプログラム言語の種類にかかわらず,データ長の制約が原因である.今回は対数を用いて階乗計算の引数の限界を超えるアイデアを共有したい.

“階乗の自然対数を求めるユーザー定義のスカラー値関数をSQL Serverで定義する” の続きを読む

QGIS から SQL Server へデータをアップロードする際の勘所

 QGIS から SQL Server 2008 R2 に空間データをアップロードする際には Shape2SQL というツールを使った.便利なツールではあるが,国土数値情報の河川データの属性テーブルの日本語が文字化けするという問題を抱えており,何とかならないかと試行錯誤した結果を備忘録として投稿する.

“QGIS から SQL Server へデータをアップロードする際の勘所” の続きを読む

QGISのフィールド計算機で国土数値情報の河川データの属性を修正する

 国土交通省の国土数値情報の河川データには不備がある.テーブル構造の不一致についてはテーブル構造の修正には「属性のリファクタリング」で修正方法を述べた.今回は属性テーブルの値を修正する.

 値を修正するだけのつもりでいたが,結局「属性のリファクタリング」まで手を出してしまった.おかでげ国土数値情報の河川データはほぼ修正できたと思う.

“QGISのフィールド計算機で国土数値情報の河川データの属性を修正する” の続きを読む

都道府県ごとの河川データを1つのcsvファイルに変換する

CSVテキストレイヤをベクタレイヤとして追加した結果

 河川データを都道府県別ではなく,水域別に抽出したい.そんな動機から QGIS と EXCEL の間を行ったり来たりしている.QGISで都道府県ごとの河川データをマージするではかなり無謀なことをやった.今回はもう少し丁寧にデータを扱ってみたい.

“都道府県ごとの河川データを1つのcsvファイルに変換する” の続きを読む

PowerPivotで100万件超えのデータを取り出す

「Power Pivot」タブ「データモデル」から「管理」

 EXCEL のワークシートの仕様上,100 万件を超えるデータは扱えない.これは大規模なデータを扱う際の制約である.180万件のデータをPower Queryで処理してEXCELがオーバーフローした話 でも述べたが,この制約を乗り越えてデータをインポートするにはデータモデルに読み込むほかはない.

 SQL Server で PowerQuery が使えればこういった制約を回避できるのだが,ないものは仕方がない.今回は PowerPivot を用いてデータモデルに蓄積したデータを取り出す方法を見つけたので備忘録として記す.

“PowerPivotで100万件超えのデータを取り出す” の続きを読む