正文

Clarmy 请你来闯关：NetCDF数据处理

admin
admin V管理员 /0 评论 /138 阅读
0129
此篇文章发布距今已超过298天，您需要注意文章的内容或图片是否可用！

NetCDF 是一个为科学数据设计的文件格式和数据模型。得益于其结构清晰、强大的自描述性、多样的数据访问方法以及高效的数据压缩能力，netCDF 文件在气象、海洋科学、地球科学领域已逐渐成为存储和分享数据的首选格式。然而，对于新手而言，如何正确地读取和解析 netCDF 文件，尤其是一些具有多重分组和属性的文件，往往是一个考验。同时，对于初级工程师来说，如何高效处理并生成符合规范的 netCDF 文件，也同样是一项挑战。作为气象工程师，熟练掌握 netCDF 数据格式及其处理技巧已变得越来越重要。参与本期的关卡训练，不仅会让你对 netCDF 数据格式有深入的了解，更能使你了解 nco、cdo 等多种实用工具和技术。
本气象工程师系列训练营源自数据科学开源社区和鲸社区的 地球科学x数据科学应用能力培养计划 ⚡。该计划旨在帮助国内高校与科研机构教师、研究人员、学生、数据工程师与业务人员切实提高领域内数据科学水平，以便更好地应对科研与业务中的数据挑战。活动全程免费，并由和鲸旗下数据科学在线协同平台 ModelWhale 保驾护航。

 · 学习目标 · 

√ 数据读取与输出：通过netcdf4-python和xarray工具，学习如何流畅地读取各类NetCDF文件并输出为所需格式，从基础结构到复杂分组。
√ 数据操作与管理：掌握NetCDF数据的基本操作技巧，包括修改、覆写和有效地组织数据内容，确保数据的完整性和准确性。
√ 规范与标准化：深入了解CF规范的重要性和应用，使输出的数据达到行业和科研标准，提高数据的通用性。
√ 格式识别与转换：全面认识NetCDF3与NetCDF4的区别和特性，并掌握它们之间的转换技巧，满足不同的数据需求。
完成这些学习目标后，参与者将全方位地掌握NetCDF数据处理的关键技术和方法，为其在相关领域的研究和工作打下坚实的基础。

 · 特邀导师 · 

Clarmy：气象数据及后端工程师、开源软件爱好者、“Clarmy吱声”公众号主

 · 课程主题 · 

课 1 | 简单 nc 文件的读写和解析

内容简介

1. 使用 ncdump/ncinfo 等命令行查看 nc 文件信息
2. 使用 netcdf4-python、xarray 等常见工具读取 nc 文件
3. 使用 netcdf4-python 时正确解析时间维度信息
4. 基于 scale_factor 和 add_offset 参数正确解析数据值
5. 用 netcdf4-python、xarray 等常见工具输出简单结构的 netcdf 文件
6. 修改并覆写简单结构的 netcdf 文件
重要案例
1. 读取 netcdf 格式的 ERA5 数据集
2. 将一个 npz 数据转换为简单结构的 netcdf 文件
3. 修正一个有问题的 nc 文件，修复异常值
闯关题
1. 读取 netcdf 格式的 ERA5 样例数据并获取特定时间和坐标点的值
2. 修改一个存储气温的 nc 文件，将开氏温度改为摄氏度
<教案截图>

课 2 | nc 文件的压缩及转换

内容简介

1. 在 Python 环境使用 subprocess 包调用系统子命令
2. nc3 与 nc4 的格式转换：使用命令行工具集 nco
重要案例
1. 对比相同数据在 nc3 和 nc4 下的尺寸差异
2. 对比 nc4 文件在压缩前后的对比
3. 对样例 nc3 和 nc4 文件做相互的转换
4. nc4 数据文件的压缩：使用命令行工具集 nc
闯关题
1. 使用 subprocess 对一个样例 nc3 文件转为 nc4 并做压缩处理
2. 使用 subprocess 将一个 nc4 文件转为 nc3
<教案截图>

课 3 | 复杂结构 nc 文件的读写

核心技能
1. 读取多组异构的 netcdf4 文件
2. 输出 netcdf4 文件时设置压缩等级
3. 输出多组异构的 netcdf4 文件
4. 输出符合 CF 规范的 netcdf4 文件
重要案例
将一个地表和一个高空的 ERA5 气温数据合并为一个多组异构的 netcdf4 文件
闯关题
1. 将一个 npz 数组输出为符合 CF 规范的 netcdf4 文件
2. 输出一个同时包含地表、等压层、土壤深度的多组异构且符合 CF 规范的 netcdf4 文件
<教案截图>

课 4 | nc 文件的运算、拆分、合并与插值

核心技能
1. 简单运算：使用命令行工具集 nco、cdo
2. 拆分合并：使用命令行工具集 nco、cdo
3. 属性修改：使用命令行工具集 nco、cdo
4. 使用 cdo 对 netcdf 文件实现格点插值
重要案例
1. 对 nc 格式的 ERA5 数据做加减乘除
2.  对 nc 格式的 ERA5 数据做拆分合并
3. 对 nc 格式的 ERA5 数据做属性修改
4. 对 nc 格式的 ERA5 数据做降尺度插值
闯关题
1. 用 nco/cdo 将一个以 K 为单位存储气温的 ERA5 数据转为以摄氏度为单位的 nc 文件
2. 用 nco/cdo 将存储 UV 风的 ERA5 数据，转为以风速风向存储的 nc 文件
3. 用 cdo 将 0.25° 分辨率的 ERA5 数据插值为 0.1° 分辨率并存储为新的 nc 文件

<教案截图>


课 5 | 最后一关

通关题
使用样例 npy 文件生成符合 CF:1.6 标准的 nc4 数据，将数值小于 0.5 的点位的数据替换为 0


 · 报名 · 
※ 活动门票需要鲸币 6 枚。鲸币不够也不必氪金，（电脑登录网站）刷刷社区任务就够了。
活动页面
https://www.heywhale.com/u/4e0655
 · 活动交流群 · 
描下方二维码添加小小鲸微信号
回复 气象训练营 即可等待小小鲸分批拉入群聊


推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
宙飒天下网