EXCEL VBAで複数のブックからタブ区切りテキストに一括で別名保存する

 最近,Lancersを利用する機会があった.月次のファイルを10年分,計120個のブックをダウンロードし,テーブル形式に整形したブックが納品された.これらをSQL Serverにインポートしたいのだが,手動でタブ区切りテキストに別名保存するのは骨が折れる.

 結局VBAで処理することにした.その際の備忘録である.

“EXCEL VBAで複数のブックからタブ区切りテキストに一括で別名保存する” の続きを読む

国連の人口データおよび世界銀行のGDPデータをダウンロードする

国連のサイトに遷移する.Download Data Filesをクリックする

 世界各国の人口推移およびGDP推移を取得したい.そんな場合は国連世界銀行のデータを活用する.今回は国連から人口推移,世界銀行からGDP推移のデータをそれぞれ取得したので経緯を紹介する.

“国連の人口データおよび世界銀行のGDPデータをダウンロードする” の続きを読む

SQL Serverでは空間データの統計情報を作成できない

SQL Server

 SQL Serverのクエリオプティマイザはテーブルの統計情報を見て実行計画を作成する.通常のデータ型であれば主キーなどの統計情報はあらかじめ作成されているが,今回空間データの統計情報を作成しようとして失敗したので共有する.

“SQL Serverでは空間データの統計情報を作成できない” の続きを読む

SQL Serverで空間インデックスを設定し空間演算を高速化する

SQL Server

 データベースのテーブルに適切なインデックスを設定するのはクエリを高速化するうえで重要な施策である.今回,空間演算にコストがかかっていたクエリが空間インデックスの設定により高速化したので報告する.

“SQL Serverで空間インデックスを設定し空間演算を高速化する” の続きを読む

オーストラリアのジオコーディング

Cairns Cityの住所をマッピング

 オーストラリアでの住所からのジオコーディングはGeoscape社が担当しており,そのプロジェクト名をG-NAFという.オーストラリア政府から補助金を受けており,2029年まで無料公開されることが決まっている.

 データ数は1500万件以上,空間参照系はGDA94(EPSG: 4283)またはGDA2020(EPSG: 7844)である.

 今回はSQL Serverでデータベースからテーブル作成,データのインポート,テーブルへの主キーと外部キーの作成までを行う.

“オーストラリアのジオコーディング” の続きを読む

国土数値情報の一次医療圏テーブルの文字化けを解決し,医療機関テーブルに行政区域コードを追加する

 先の記事(国土数値情報の二次医療圏テーブルの文字化けを解決する)では二次医療圏テーブルの文字化けを解決した.今回は行政区域コードで集約したポリゴンを融合した一次医療圏テーブルの文字化けを解決し,医療機関テーブルに行政区域コードを追加する.

“国土数値情報の一次医療圏テーブルの文字化けを解決し,医療機関テーブルに行政区域コードを追加する” の続きを読む

医療機関テーブルに二次医療圏コードを追加する

SQL Server

 医療機関テーブルには二次医療圏コードが存在しない.そのため,ある医療機関がどの二次医療圏に属しているかを調べるには空間データを調べる必要がある.空間データは計算コストが高く,テーブルの結合条件に STWIthin() メソッドを使うのは時間がかかる.そのため,医療機関テーブルに二次医療圏コードを追加しようと考えた.

“医療機関テーブルに二次医療圏コードを追加する” の続きを読む

国土数値情報の医療機関のPointデータをダウンロードしQGIS経由でSQL Serverにアップロードする

SQL Server

 国土数値情報ダウンロードサービスには医療機関や医療圏の位置情報もある.今回は医療機関の Point データをダウンロードし,SQL Server にアップロードする方法を見つけたので備忘録として記載する.

“国土数値情報の医療機関のPointデータをダウンロードしQGIS経由でSQL Serverにアップロードする” の続きを読む

第14章 インデックス作成 (Beginning Spatial with SQL Server 2008)

SQL Server

 効率的なインデックス作成は,迅速かつ効率的に結果を探索するデータベースアプリケーションを作成するために重要である.空間データを蓄積するためにデザインされる geometry 型および geography 型に加えて,SQL Server 2008 はまた空間データを使用するための新しいインデックスの型を含んでおり,それは(驚くべきことでもないが)空間インデックスと呼ばれる.本章では空間インデックスがどのように動作し,空間インデックスを使って空間クエリの速度をどのように改善するか説明する.

付記 SQL Server の汎用クラスター化インデックスおよび非クラスター化インデックスは多くの異なるデータ型のインデックスを作成するのに使われ,そこには int 型,char 型および datetime 型を使って蓄積される値を含んでいる.しかし,空間インデックスはgeometry 型および geography 型の列の上でしか作成されず,これらのデータ型の列にのみ空間インデックスは追加できる.

“第14章 インデックス作成 (Beginning Spatial with SQL Server 2008)” の続きを読む