RAPIDS Community Notebooks 简介
RAPIDS (GPU 加速数据科学) 是一套开源的数据科学库,利用 NVIDIA GPU 加速数据科学和机器学习工作流。RAPIDS Community Notebooks 是一个由社区贡献的 Jupyter notebooks 集合,旨在帮助新用户快速上手和使用 RAPIDS 生态系统。
这个仓库包含了大量由 RAPIDS 团队、生态系统合作伙伴以及 RAPIDS 用户贡献的有用 notebooks。它的主要目的是通过提供学习辅助材料来向新用户介绍 RAPIDS。
社区 Notebooks 的意义
这些 notebooks 是为社区服务的,这意味着:
- 任何人都可以贡献工作流示例、技巧和教程供他人使用和分享。
- 如果您的 notebook 非常出色,它可能会被特别推荐。
同时,社区也有一些额外的责任:
- 如果您编写了一个很棒的 notebook,请尽量保持更新。
- 如果您发现问题,不要只是提交 issue - 请尝试修复它!
- 如果一个 notebook 存在问题或其最后测试的 RAPIDS 版本已过时,它可能会被移至存档。
RAPIDS 展示 Notebooks
这些 notebooks 由 RAPIDS 团队构建和维护。当我们移除这些 notebooks 时,它们将由社区维护,直到被归档。
RAPIDS 活动 Notebooks
这些是我们在会议或聚会上展示的 notebooks。虽然我们努力使用开源或易于获取的数据,但某些 notebooks 可能需要访问受限的数据集。它们也会随时间冻结,不会随 RAPIDS 的进展而更新。请下载这些工作流构建时使用的适当 RAPIDS 版本,或者预期需要将它们更新到较新的版本。
探索仓库
文件夹结构
-
getting_started_notebooks: "如何开始使用 RAPIDS"。包含展示"Hello World"、RAPIDS 库入门以及 RAPIDS 概念教程的 notebooks。 -
community_tutorials_and_guides: 社区贡献的"如何使用 RAPIDS 完成您的工作流"。包含展示算法和工作流示例、基准测试工具以及一些完整的端到端 (E2E) 工作流的 notebooks。 -
community_archive: 包含已知问题且 45 天或更长时间未修复的 notebooks。包含在博客中提到和使用的展示 RAPIDS 工作流和功能的共享 notebooks。 -
the_archive: 包含来自社区成员的较旧 notebooks,以及 RAPIDS 团队不再更新但对社区有用的 notebooks,如archived_rapids_blog_notebooks、archived_rapids_event_notebooks和competition_notebooks。 -
data: 包含用于纯功能演示的小型数据样本。一些 notebooks 包含从外部网站下载更大数据集的单元格。
入门指南
RAPIDS 提供了丰富的学习资源,帮助用户快速上手:
RAPIDS 库基础
教学 Notebooks 和用户指南
- RAPIDS 速成课程
- RAPIDS 入门 Notebooks - 涵盖 cuDF、Dask、cuML 和 XGBoost
- 官方 RAPIDS 用户指南
- 10 分钟入门 cuDF 和 Dask cuDF
- 数据科学家的 cuDF:数据处理函数
- RAPIDS 入门之旅
- Hello World 示例
官方速查表
RAPIDS 还提供了各个组件的官方速查表,包括 cuDF、BlazingSQL、cuGraph、RAPIDS-Dask、CLX 和 cyBert、cuSignal 等,可以快速查阅常用功能。
部署 RAPIDS
RAPIDS 可以在多种云平台和环境中部署:
- AWS SageMaker 上的 RAPIDS 教程
- Azure ML 上的 RAPIDS 教程
- 使用 Dask Cloud Provider 在 Google Cloud Platform 上突发数据科学工作负载到 GPU
- 在 IBM 虚拟服务器实例上部署 RAPIDS 的分步教程
- 在 IBM Kubernetes Service 上部署 RAPIDS 的分步教程
多 GPU 支持
RAPIDS 提供了强大的多 GPU 支持,可以充分利用多个 GPU 加速计算:
入门
示例工作流
Dask 技巧
- 使用 Prometheus 和 Grafana 监控 Dask RAPIDS
- 使用 Dask 和 Prefect 调度和优化 RAPIDS 工作流
- 使用 RAPIDS 和 Dask 进行过滤读取以优化 ETL
RAPIDS 和深度学习
RAPIDS 可以与深度学习框架无缝集成:
RAPIDS 数据可视化
RAPIDS 提供了强大的数据可视化能力:
官方 RAPIDS 演示
教程
流数据处理
RAPIDS 支持 GPU 加速的流数据处理:
自然语言处理 (NLP)
RAPIDS 为 NLP 任务提供了 GPU 加速:
图分析和 GIS/空间分析
RAPIDS 提供了强大的图分析和空间分析能力:
基因组学
RAPIDS 为基因组学分析提供了加速:
网络安全
RAPIDS 为网络安全分析提供了工具:
过去的竞赛
RAPIDS 在各种数据科学竞赛中都有应用:
- RAPIDS.AI KGMON 竞赛 Notebooks - 包含在 Kaggle 竞赛中使用的一系列 notebooks。
基准测试
RAPIDS 提供了一些基准测试工具:
其他技巧和窍门
生态系统合作伙伴教程
RAPIDS 与多个生态系统合作伙伴合作,提供了丰富的
