シェルパイプラインに組み込む
Queria CLI の出力を jq に渡し、cron や CI から定期的にデータを取得する
Queria CLI は標準出力の形式を --format で選べるので、出力をパイプでほかのコマンドに渡せます。cron や CI から実行して、データの取得を自動にすることもできます。
jq と組み合わせる
--format jsonl は 1 行に 1 レコードの JSON を出すので、jq で 1 行ずつ処理できます。
queria sql "
SELECT DISTINCT area_name, value AS population
FROM e_stat.ssds.a_pref_population
WHERE item_name = 'A1101_総人口' AND year = 2024
" --format jsonl | jq -r 'select(.population > 5000000) | .area_name'
全部の行を 1 つの配列で受け取るときは --format json を使います。
queria list --format json | jq '.[].datasource'
Markdown をドキュメントに貼る
--format markdown の出力は Markdown の表なので、README や記事、PR の説明に貼れます。
queria sql "..." --format markdown >> report.md
cron で定期的に保存する
ファイル名に日付を入れて --out で保存すると、実行するたびにその日の結果がファイルとして残ります。
#!/usr/bin/env bash
set -euo pipefail
queria sql "
SELECT area_name, value AS population
FROM e_stat.ssds.a_pref_population
WHERE item_name = 'A1101_総人口' AND year = 2024
" --out "snapshots/pop_$(date +%F).parquet"
0 6 * * 1 /home/you/bin/weekly-snapshot.sh
CI から使う
API トークンは環境変数 QUERIA_TOKEN で渡します(--token を付けるとそちらを使います)。トークンなしで読むとレートリミットに当たることがあるので、定期的に実行するときはトークンを設定してください。GitHub Actions では次のように書きます。
env:
QUERIA_TOKEN: ${{ secrets.QUERIA_TOKEN }}
トークンの発行と管理は認証を見てください。
注意すること
- 大きな結果は標準出力に出さず、
--outでファイルに保存してください(形式は拡張子で決まります) - 手元のファイルとの突き合わせは「手元のデータと突き合わせる」を見てください
