---
title: データ品質・クレンジング方針
description: Queria が元データをどう整えてから公開しているか
---

Queria は、公開されているオープンデータの文字コード・列名・型・コードを統一してから公開しています。このページでは、何をどう統一しているかを説明します。

## 整える理由

オープンデータは、公開している組織ごとに文字コード、列名、単位の書き方が違います。同じ「市区町村コード」でも桁数や型が違ったり、数値の列に注釈の文字が入っていたりします。このままでは、2 つのデータセットを JOIN しようとしたときに、まず形式を統一する作業が要ります。

Queria がこの作業を一度行っておくので、利用者は毎回同じ前処理を書かずに済みます。

## Queria が行う前処理

- 形式を統一する: 文字コードとファイル形式を統一し、Parquet にして公開します
- 列名と型を統一する: 列名の書き方を統一し、数値や日付の列を数値型・日付型にします
- 値を直す: 数値の列に入っている日本語の注釈や単位を取り除きます。欠けている値や食い違う値は、決めたルールで扱います
- コードを正規化する: データセット同士を `JOIN` できるように、地域コードなどの桁数と型を正規化します
- 説明を付ける: テーブルと列に、意味・単位・集計のしかたの説明を付けます

前処理のコードはすべて公開しています。テーブルのページの「ソースコード」から見られます。

## 元データの数字

前処理では、データの形を整えるだけで、元データの数字は書き換えません。何をどう変えたかは、公開しているコードで確認できます。元データが正しいかどうかは、テーブルのページの「元データ」から一次情報を確認してください。

## 次に読むページ

- [出典・ライセンス表記](/data/attribution): データを使うときの条件
- [仕組み](/architecture): 書いた SQL と結果がどこで扱われるか
- [コンセプト](/concept): Queria が前処理を行う理由
