WeatherBench 2 - 下一代数据驱动全球天气模型的基准测试平台

🚨🚨🚨 WeatherBench-X 已发布。它提供了我们评估代码库的更新版本。我们鼓励用户切换到新的代码库。数据指南仍然保持最新。 🚨🚨🚨

arXiv 论文
Google AI 博客文章

为什么需要 WeatherBench？

WeatherBench 2 是一个用于评估和比较数据驱动型与传统数值天气预报模型的框架。WeatherBench 包含：

• 公开可用、针对云端优化的真实值和基线数据集。完整列表请参阅 此页面。
• 开源的评估代码。请参阅此 快速入门 以了解基本功能，或查阅 API 文档 获取更多细节。由于高分辨率预报文件可能体积庞大，WeatherBench 2 的代码在设计时充分考虑了可扩展性。请参阅基于 Xarray-Beam 的 命令行脚本，以及 此指南，了解如何使用 DataFlow 在 GCP 上运行这些脚本。
• 一个 网站，展示众多最先进数据驱动方法和物理方法的最新评分。
• 一篇 论文，详细阐述了评估设置背后的原理。

WeatherBench 2 被构建为面向整个社区的不断发展的工具。因此，我们欢迎任何反馈（最好通过 GitHub 问题 提交）或贡献。如果您希望将自己的模型纳入 WeatherBench，请查看 此指南。

引用

@misc{rasp2023weatherbench,
      title={WeatherBench 2: 下一代数据驱动全球天气模型的基准测试平台}, 
      author={Stephan Rasp 和 Stephan Hoyer 和 Alexander Merose 和 Ian Langmore 和 Peter Battaglia 和 Tyler Russel 和 Alvaro Sanchez-Gonzalez 和 Vivian Yang 和 Rob Carver 和 Shreya Agrawal 和 Matthew Chantry 和 Zied Ben Bouallegue 和 Peter Dueben 和 Carla Bromberg 和 Jared Sisk 和 Luke Barrington 和 Aaron Bell 和 Fei Sha},
      year={2023},
      eprint={2308.15560},
      archivePrefix={arXiv},
      primaryClass={physics.ao-ph}
}

许可证

本项目并非 Google 官方产品。

版权所有 2023 Google LLC

根据 Apache License, Version 2.0（“许可证”）授权；
除非符合许可证的规定，否则不得使用本文件。
您可以在以下网址获取许可证副本：

    https://www.apache.org/licenses/LICENSE-2.0

除非适用法律要求或双方另有约定，否则软件按“原样”分发，
不提供任何形式的保证或条件。有关权限和限制的具体内容，
请参阅许可证文件。

WeatherBench 2 快速上手指南

WeatherBench 2 是一个用于评估和比较数据驱动模型与传统数值天气预报模型的框架。它提供了公开的云优化数据集、开源评估代码以及最新的排行榜。

⚠️ 重要提示：Google 已发布更新版本的评估代码库 WeatherBench-X。建议新用户优先切换至新代码库，但 WeatherBench 2 的数据指南仍然有效。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）。
• Python 版本：推荐 Python 3.8 或更高版本。
• 前置依赖：
  • pip 包管理工具。
  • 对于大规模数据处理，建议配置 Google Cloud Platform (GCP) 环境以使用 DataFlow（可选，仅限海量数据评估）。
• 网络环境：由于数据集和依赖包主要托管在 Google 服务上，国内开发者可能需要配置科学上网环境或使用代理加速下载。

安装步骤

可以通过 pip 直接安装 WeatherBench 2 的核心评估库：

pip install weatherbench2

如果需要从源码安装以获取最新功能或贡献代码：

git clone https://github.com/google-research/weatherbench2.git
cd weatherbench2
pip install -e .

注意：目前官方未提供专门的中国镜像源。如果 pip 安装缓慢，可尝试指定国内通用镜像源（如清华源）安装基础依赖，但需注意 weatherbench2 包本身可能仍需从 PyPI 官方源拉取：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <dependency_name>

基本使用

WeatherBench 2 的核心功能是评估预测结果。最简单的使用方式是通过 Python API 加载数据并计算指标，或者直接运行提供的评估脚本。

1. 使用 Colab 快速体验（推荐）

无需本地配置环境，直接在浏览器中运行官方提供的 Notebook 示例：

2. Python API 示例

以下是一个基础的评估逻辑示例，展示如何调用评估模块：

import weatherbench2 as wb2

# 加载真值数据 (Ground Truth) 和 预测数据 (Forecast)
# 具体数据路径需参考官方数据指南: https://weatherbench2.readthedocs.io/en/latest/data-guide.html
truth = wb2.load_dataset("path/to/truth.zarr")
forecast = wb2.load_dataset("path/to/forecast.zarr")

# 计算评估指标 (例如：均方根误差 RMSE)
metrics = wb2.compute_metrics(truth, forecast, metrics=["rmse", "crps"])

print(metrics)

3. 命令行脚本

针对高分辨率的大规模文件，推荐使用基于 Xarray-Beam 的命令行脚本进行处理，以支持可扩展的计算：

# 查看可用命令
wb2-eval --help

# 运行评估任务 (示例)
wb2-eval \
  --truth_path=path/to/truth.zarr \
  --forecast_path=path/to/forecast.zarr \
  --output_path=path/to/results.json

如需在 Google Cloud (GCP) 上利用 DataFlow 进行分布式评估，请参考官方文档中的 Beam on Cloud 指南。