译者的话
本仓库是 Project Pythia / osdf-cookbook 的中文翻译版。原项目由 Pythia 社区维护,是一套面向地球科学与数据管理领域的 Python 实战教程。
翻译的目标是让国内的气象、地球科学、数据管理领域的同学和研究者能够更方便地学习和使用 OSDF 数据管理工具。教程中涉及的技术术语尽量保留英文原文,以方便与原始文档和代码对照。代码部分保持不变,仅对 Markdown 文本和注释进行了翻译。
本翻译基于 LLM 自动翻译 + 人工校对完成,如有不当之处欢迎提 Issue 或 PR。
—— longtsing
本教程介绍了如何使用 Open Science Data Federation (OSDF),这是一项用于在全球范围内流式传输科学数据的服务。
你是否曾因访问科学数据的复杂性而感到沮丧?为什么它不能像观看 Netflix 电影那样"即开即用"?
OSDF 是一项服务,旨在简化各类科学数据集的流式传输,其目标是让数据访问"即开即用"。它旨在提高研究人员的数据可用性,无论其工作规模是从个人笔记本电脑到分布式计算服务(例如 OSG 的 OSPool)。
本教程提供了来自地球科学社区的激励性用例,包括使用 NSF NCAR 的 Geoscience Data Exchange (GDEX) 数据集和 AWS OpenData 的数据集。
- Harsha R. Hampapura
- Brian Bockelman
- Alexander Hoelzemann
- Carrie Wall
- Emma Turetsky
- Amandha Wingert Barok
- Aashish Panta
- Joanmarie Del Vecchio
- Justin Hiemstra
- Douglas Schuster
- OSDF 简介 — 介绍 OSDF 的基本概念和使用方法
- 数据访问 — 学习如何通过 OSDF 访问科学数据
- 大气数据 — 处理和分析大气科学数据
- 海洋数据 — 处理和分析海洋学数据
- 地表数据 — 处理和分析地表观测数据
最简单的方式是通过 Binder 直接在浏览器中运行,无需安装任何软件:
- 打开你感兴趣的 Notebook 页面
- 点击页面右上角的 🚀 火箭图标
- 选择 "launch Binder"
- 等待环境加载完成后即可交互
如果你不熟悉 Jupyter Notebook 的操作,可以参考 Jupyter 入门指南。
如果你想在本地机器上运行,请按以下步骤操作:
-
克隆仓库
git clone https://github.com/ProjectPythia/osdf-cookbook.git cd osdf-cookbook -
创建并激活 conda 环境
conda env create -f environment.yml conda activate osdf-cookbook
-
启动 JupyterLab
cd notebooks/ jupyter lab
首次运行建议先浏览 Pythia Foundations 中的 Python 和 Jupyter 基础内容。