残す
原本データを失わず、出所や時刻定義を追跡できる状態で保持します。
NEXTWX
気象データを
使える形へつなぐ基盤
原本データの保存から、検索・API・Dataset・研究・公開成果まで。
NEXTWXは、WDACが整備・研究する気象データ基盤です。単なる保存場所ではなく、異なる気象データを同じ考え方で整理し、学習・分析・研究・公開へつなぐための共通基盤を目指します。
WHY NEXTWX
なぜ NEXTWXなのか
観測、解析、予報、統計など、性格の異なるデータを個別に扱うだけでは、横断的な利用や再利用が難しくなります。NEXTWXでは、それらを共通の管理体系へ整理します。
探す
Productや日時などから、必要なデータを検索・取得できるようにします。
つなぐ
Layer1、Dataset、Notebook、研究成果へ連続的につなげます。
CORE STORY
Original Data から Public Output まで
NEXTWXの基本ストーリーは、気象データが研究成果へ育っていく流れそのものです。
01Original Data気象庁・JMBSC等から取得した原データ
↓
02Layer0内容を変えず、体系的に保存する基礎層
↓
03Product同じ検索・公開・処理ルールで扱う論理的管理単位
↓
04Data Portal / Web API人とプログラムの双方から利用する入口
↓
05Layer1解析しやすい形への変換・チャンク化
↓
06Dataset目的や現象に応じて再利用可能なデータ集合へ
↓
07Analysis / Research分析・可視化・研究へ
↓
08Public Output解説・Notebook・可視化・技術資料として公開
LAYER0 & PRODUCT
まず 原本を正しく整理する
研究や可視化の前に、どのファイルを何として保存し、どう検索できるようにするかを明確にします。
原本性を保つ基礎層
受信・取得したデータを、内容を勝手に加工せずに保存し、後から再検証できるようにします。
利用単位として束ねる
同じ検索・公開・処理ルールで扱えるLayer0 File群を、論理的な管理単位としてまとめます。
ACCESS
Data Portal と Web API
ブラウザで探す人にも、Pythonから自動取得する人にも、同じデータ基盤を提供します。
人が探す入口
Product、日付、ファイルなどから目的のデータを検索し、内容を確認して取得します。
Data Portalへ 準備中プログラムが使う入口
PythonやNotebookから検索・取得できるようにし、反復的な分析や自動処理へつなげます。
APIについて 準備中利用履歴を残す
将来的にダウンロード履歴・API利用履歴を記録し、適切なデータ利用と運用管理を支えます。
利用ルール 準備中LAYER1 / CHUNK / ZARR
大量データを 分析しやすい形へ
Layer0を正本として残しつつ、解析用途では必要に応じてチャンク化やZarr等の中間表現を検討します。
Layer0原本
→
Chunk必要単位へ分割
→
Zarr多次元配列を効率的に扱う
→
Layer1分析向け表現
→
Dataset目的別に再構成
FROM PLATFORM TO RESEARCH
データ基盤が
研究の再現性を支える
どこでもエマグラム、立体局地天気図、気象現象別Datasetなども、共通のデータ基盤があるからこそ、再現・比較・発展がしやすくなります。
Layer0
Data Portal / API
Layer1 / Dataset
Notebook / Analysis
Research / Public OutputCURRENT IMPLEMENTATION
NEXTWXは すでに動き始めています
現在はLayer0の収集・保存、Product単位での整理、Data Portalによる検索・取得、 API公開へ向けた基盤整備を進めています。
Layer0
気象庁・JMBSC等から取得した原本データを、改変せず保存・管理する基盤。
Product
同じ検索・公開・処理ルールで扱えるLayer0 File群を束ねる論理的管理単位。
Data Portal
Productや日時等からデータを検索し、必要なファイルへ到達するためのWeb UI。
Web API
GUIだけでなく、プログラムから検索・取得できる機械可読インターフェース。
Layer1
チャンク化やZarr等を含め、分析・再利用しやすい形へ変換する中間層。
Dataset / Research
現象別・目的別にデータを組み合わせ、分析・研究・公開成果へ発展させます。
LAYER0 EXAMPLES
扱うデータは「縦串」ではなく「横串」で
特定の一つのデータ種だけを深掘りするのではなく、 観測・解析・予報・統計など複数種を横断して使えることを重視します。
観測アメダス・高層・風など
解析解析雨量など
予報LFM等の数値予報
統計地上・アメダス・高層統計
可視化図・画像・派生表現
応用Dataset・研究・教育