Open-Meteo 整合 90TB 历史天气数据

Open-Meteo 的历史天气 API 现在整合了自2017年起的 ECMWF IFS 模型，全分辨率为9公里！

大约一年多前的2022年8月（本文原文发表时间为2023年11月，译者注），Open-Meteo 推出了基于 ERA5 数据集的历史天气 API，分辨率为25公里。实现这一目标面临挑战，包括设计一个有效的压缩和存储系统，将 47TB 的数据压缩到仅 1.2TB。

Open-Meteo 继续改进其历史天气数据。六个月后，11公里 ERA5-Land 和5公里 CERRA 数据集的整合使数据量几乎增加了三倍。这一扩展提高了陆地表面天气变量的分辨率，尽管某些天气变量，如降水、风速和太阳辐照度，仍限于25公里分辨率。

为了进一步提高过去天气数据的准确性和分辨率，Open-Meteo 现在整合了全分辨率为9公里的 ECMWF IFS 天气模型。与之前的11/25公里分辨率相比，这可能看起来不是一个巨大的飞跃，但它需要处理来自磁盘的近 20TB 数据，进行压缩，并无缝整合到一个可访问的 API 中。

ERA5 和 ECMWF IFS

Open-Meteo 一直在使用来自 ERA5 和 ERA5-Land 的再分析天气数据。这两种再分析都利用了气象站、飞机、浮标、雷达和卫星观测，结合数值天气模型，创建了全球过去天气条件的数据集。多年来，ERA5 再分析与 ECMWF IFS 天气模型紧密集成，以保持一致性。

天气再分析：结合观测与天气模型（数据来源：哥白尼计划）

创建这样的记录是一个巨大的挑战，因为它涉及从1940年开始收集详细的过去天气信息，并使用数值天气模型。特别是 ERA5，在这方面做得非常好。

ERA5 和 ECMWF IFS 天气模型紧密合作。实际上，自2016年以来，ERA5 一直在使用 ECMWF IFS 模型来创建其记录，并且他们将继续在未来几年使用它。使用同一个“旧”的天气模型很重要，因为它有助于保持 ERA5 结果在几周、几年乃至几十年间的一致性。如果使用了更新的模型，它会引入数据的微妙变化，这可能会影响气候变化的研究。

然而，过去七年中 IFS 天气模型已经有了很大的改进，现在可以做出更准确的天气预测。如果你比较了 ERA5 数据和近期观测结果，注意到了降雨或风速的差异，你可能已经注意到了这一点。

基于 ECMWF IFS 的更准确的过去天气数据

为了获得最精确的历史天气信息，使用最新和最先进的天气模型至关重要。这正是 Open-Meteo 通过其历史天气 API 现在实现的目标。

为了创建一个全面的数据集，Open-Meteo 收集并合并了自2017年以来的所有 IFS 天气预报，形成了一个覆盖全球各地位置的连续记录。

天气模型依赖于来自多种来源的数据，如气象站、飞机、浮标、雷达和卫星，以建立地球大气的初始状态。这个过程，称为数据同化，通常在固定的时间间隔进行，典型的时间是协调世界时（UTC）0:00、6:00、12:00和18:00。需要注意的是，尽管天气模型不能绝对精确地预测未来，但它们通常能够提供相当准确的短期预报，用于当前日或接下来的几小时，具体取决于当前的天气条件。

多个天气模型运行（数据来源：CERRA再分析）

通过结合这些定期更新的初始条件模拟，生成了与真实观测紧密对齐的长时间序列。这种方法确保了即使在没有附近气象站的情况下，也能获取地球上每个位置的天气数据。

重要的是，这种方法不仅限于将新的9公里 ECMWF IFS 数据转换成天气时间序列；它还已应用于 ERA5、ERA5-Land 和其他天气再分析数据集。

提供2天延迟的数据

现在的历史天气 API 除了 ERA5 再分析数据外，还包括了9公里 IFS 模型。此更新提供了从2017年开始的30种天气变量的每小时数据，所有数据均保持原始的9公里分辨率。

就数据可用性而言，ERA5 的延迟为5天，而 IFS 模型已将此缩短至仅2天延迟。这是一个持续改进的领域，未来的更新可能会进一步减少这些延迟。对于访问过去1天或2天的数据，可以使用带有 Past-Days 参数的 Forecast API。

历史天气API中可用的数据集

比较ERA5、ERA5-Land 和 IFS 的数据时，只能观察到微小的差异。值得注意的是，ERA5（25公里）与10公里数据集之间的分辨率差异变得明显。以德国柏林的温度比较为例，显示了一些差异，但总体上，ERA5 与 IFS 数据之间存在相似性。

柏林，德国：ERA5、ERA5-Land与ECMWF IFS的温度比较

这些相似性并不令人意外，因为 ERA5 和 IFS 使用了非常相似的数据同化过程。2017年及以后的 IFS 数据作为现有历史天气数据的增强，与 Open-Meteo 持续提供给公众最佳可用数据的使命保持一致。

所有数据都在CC-BY-4.0许可下公开共享，Open-Meteo 致力于支持研究人员使用历史天气数据。利用 Open-Meteo 数据的日益增多的出版物证明了一个不断发展的生态系统，促进了气象数据的开放和便捷共享。

极客数据统计

历史天气API继续扩展其数据库。处理这么多数据并通过API高效地提供它是一个巨大的工程挑战，有无数的难题需要解决。由于某些难以解释的原因，越来越多的数据不断地找到了它们在我的硬盘上的位置 ;-)

Ryzen 7800X3D和RTX 4070。尽管绿色橡皮筋在抵抗震动方面做得非常好，但请忽略它们！

从2017年开始的IFS数据总量为18.9TB，虽然这个数字可能不算异常高，但在短短七年内，平均每年2.7TB的数据量仍然相当令人印象深刻。从大局来看，随着数据量达到90TB，我们即将接近100TB的里程碑，而且毫无疑问，未来还会有更多的数据集出现。

注意：数据大小是指压缩后的 GRIB 文件，通常能达到大约2.7倍的压缩比。"OM Compressed"一词是指最终数据库，即数据转换成时间序列格式并经过压缩处理后的结果。

下载并处理这么大量的数据绝非易事，需要数月时间来完成。虽然每个数据集都作为开放数据易于获取，用于研究目的，但它们物理上存储在国家气象服务机构的磁带上。检索和下载这些数据是一个耗时且漫长的过程。原始 GRIB 文件包含了单一时间步长内全球的数据。无论一个人的研究领域范围有多大，即使它只包括一个位置，用户也需要下载整个数据集并进行后续处理。

另一方面，Open-Meteo 将气象GRIB数据转换为针对个别位置的时间序列数据，使得可以访问数据的特定、较小的部分。这种方法不仅节省了时间，还节省了计算资源，因为只处理必要的数据。

为了实现这一点，Open-Meteo 使用自己的文件格式和专门的压缩技术。所有源代码都可在 GitHub 上获取，并使用 Swift 和 C 语言开发。这允许其他用户下载和存储像 ERA5 这样的天气再分析数据，以及来自各国气象服务的实时预报。这一系统通过一个HTTP REST 服务器补充，提供了访问数据的简便方法，数据格式包括JSON、CSV或XLSX。运行自己的 Open-Meteo API 实例并维护多种天气模型数据可以是一项挑战性的任务。然而，如果你对存档你的天气数据感兴趣，它作为一个任务工具非常出色。

接下来是什么？

展望未来，有一个令人兴奋的发展在地平线上——创建 ERA6，ERA5 的继任者。虽然目前可获得的信息有限，但哥白尼项目正积极参与开发这一下一代再分析项目。值得注意的是，ERA6 可能需要几年时间才能变得可用 ;-)

即将发布的博客文章将深入探讨新的 FlatBuffers 格式和 APIs，这将允许方便地将数据转换成你的 Python Panda 数据框架，或将天气数据高效集成到各种设备中，比如智能手机和物联网设备，同时最小化能耗。确保订阅，以免错过它！