総務省の都道府県・市区町村別統計表をデータクレンジングする

都道府県・市区町村別統計表(国勢調査)

 日本の人口統計は総務省が 5 年おきに行う国勢調査が元になっている.日本の市の人口順位をEXCELにダウンロードして散布図に描くでは日本全国の都市の人口増減率と人口の関係を時系列で流すとどう推移するか予測した.今回はその予測が実態と合っているか乖離しているかの検証を行う.

“総務省の都道府県・市区町村別統計表をデータクレンジングする” の続きを読む

多変量解析の前に相関行列を見よう

 Excelのピボットテーブルでクロス集計から統計解析まででも書いたが,統計解析の醍醐味は多変量解析にある.単変量解析では変数間の交絡の可能性が否定できず,重要なポイントを見落とすことがある.

 統計の専門家ではないので完全に我流の方法であるが,多変量解析における変数選択の参考になるかと思い,記しておく.

 過去に査読者とのやり取りの中で,変数選択の方法をかなり具体的に指示され,その通りにしないと通さないぞという言外の圧力を感じたことがある.

 その時は違和感を感じつつもその通りにしたら通ったのだが,どうにもその違和感がずっと残っていた.いわく,単変量解析で有意になった変数のみを組み合わせて多変量解析に持ち込む,という手法だったのだが,本当にそれで良かったのだろうか?

“多変量解析の前に相関行列を見よう” の続きを読む

日本標準食品成分表2015をダウンロードし,データクレンジングを行う

 文部科学省には日本標準食品成分表のデータがある.食品の栄養素の計算に用いられるデータで,食品成分データベースやフィットネス,ダイエット関連アプリのデータベースの基本となっているものである.

 このデータは 5 年ごとに更新されており,最新のデータは 2015 年のものである.次の更新は 2020 年の予定である.今回の記事ではこのデータをダウンロードし,クレンジングを行う.

“日本標準食品成分表2015をダウンロードし,データクレンジングを行う” の続きを読む