コンテンツにスキップ
Queria Docs
Esc
↑↓移動↵開く⌘Jプレビュー
このページの内容

データ品質・クレンジング方針

Queria が元データをどう整えてから公開しているか

Queria は、公開されているオープンデータの文字コード・列名・型・コードを統一してから公開しています。このページでは、何をどう統一しているかを説明します。

整える理由

オープンデータは、公開している組織ごとに文字コード、列名、単位の書き方が違います。同じ「市区町村コード」でも桁数や型が違ったり、数値の列に注釈の文字が入っていたりします。このままでは、2 つのデータセットを JOIN しようとしたときに、まず形式を統一する作業が要ります。

Queria がこの作業を一度行っておくので、利用者は毎回同じ前処理を書かずに済みます。

Queria が行う前処理

  • 形式を統一する: 文字コードとファイル形式を統一し、Parquet にして公開します
  • 列名と型を統一する: 列名の書き方を統一し、数値や日付の列を数値型・日付型にします
  • 値を直す: 数値の列に入っている日本語の注釈や単位を取り除きます。欠けている値や食い違う値は、決めたルールで扱います
  • コードを正規化する: データセット同士を JOIN できるように、地域コードなどの桁数と型を正規化します
  • 説明を付ける: テーブルと列に、意味・単位・集計のしかたの説明を付けます

前処理のコードはすべて公開しています。テーブルのページの「ソースコード」から見られます。

元データの数字

前処理では、データの形を整えるだけで、元データの数字は書き換えません。何をどう変えたかは、公開しているコードで確認できます。元データが正しいかどうかは、テーブルのページの「元データ」から一次情報を確認してください。

次に読むページ

このページは役に立ちましたか?