データ品質・クレンジング方針
Queria が元データをどう整えてから公開しているか
Queria は、公開されているオープンデータの文字コード・列名・型・コードを統一してから公開しています。このページでは、何をどう統一しているかを説明します。
整える理由
オープンデータは、公開している組織ごとに文字コード、列名、単位の書き方が違います。同じ「市区町村コード」でも桁数や型が違ったり、数値の列に注釈の文字が入っていたりします。このままでは、2 つのデータセットを JOIN しようとしたときに、まず形式を統一する作業が要ります。
Queria がこの作業を一度行っておくので、利用者は毎回同じ前処理を書かずに済みます。
Queria が行う前処理
- 形式を統一する: 文字コードとファイル形式を統一し、Parquet にして公開します
- 列名と型を統一する: 列名の書き方を統一し、数値や日付の列を数値型・日付型にします
- 値を直す: 数値の列に入っている日本語の注釈や単位を取り除きます。欠けている値や食い違う値は、決めたルールで扱います
- コードを正規化する: データセット同士を
JOINできるように、地域コードなどの桁数と型を正規化します - 説明を付ける: テーブルと列に、意味・単位・集計のしかたの説明を付けます
前処理のコードはすべて公開しています。テーブルのページの「ソースコード」から見られます。
元データの数字
前処理では、データの形を整えるだけで、元データの数字は書き換えません。何をどう変えたかは、公開しているコードで確認できます。元データが正しいかどうかは、テーブルのページの「元データ」から一次情報を確認してください。
次に読むページ
- 出典・ライセンス表記: データを使うときの条件
- 仕組み: 書いた SQL と結果がどこで扱われるか
- コンセプト: Queria が前処理を行う理由
