Metaflow
Metaflow 是一个对人类友好的库,帮助科学家和工程师构建和管理实际的数据科学项目。Metaflow 最初由 Netflix 开发,旨在提高从经典统计到最先进的深度学习等各种项目的数据科学家的生产力。
欲了解更多信息,请访问 Metaflow 的网站 和 文档。
从原型到生产(再回到原型)
Metaflow 提供了一个简单、友好的 API,涵盖了机器学习、人工智能和数据科学项目的基础需求:
- 快速本地原型开发、支持笔记本和内置实验跟踪与版本控制。
- 横向和纵向的云端扩展,利用 CPU 和 GPU,并实现快速数据访问。
- 依赖管理和一键部署到高可用的生产编排器。
入门
开始使用非常简单。如果您不知道从哪里开始,Metaflow 沙箱可以让您在几秒钟内运行并探索 Metaflow。
在您的 Python 环境中安装 Metaflow
要在本地环境中安装 Metaflow,您可以从 PyPi 安装:
pip install metaflow
或者,您也可以从 conda-forge 安装:
conda install -c conda-forge metaflow
如果您迫不及待地想实际体验 Metaflow,可以从 教程 开始。完成教程后,您可以在这里 了解更多关于 Metaflow 的工作原理。
在您的云中部署 Metaflow 基础设施
虽然您可以在笔记本电脑上轻松地开始使用 Metaflow,但 Metaflow 的主要优势在于它能够 扩展到外部计算集群 和 部署到生产级工作流编排器。要利用这些功能,请按照此 指南 适当地配置 Metaflow 及其背后的基础设施。
资源
Slack 社区
一个活跃的社区,有成千上万的数据科学家和机器学习工程师讨论应用机器学习的细节。
教程
生成式 AI 和大型语言模型的使用案例
- 大型语言模型的基础设施堆栈
- 生产用例中并行化 Stable Diffusion
- 在 Kubernetes 上使用 Metaflow 运行 Whisper
- 使用 Metaflow 训练大型语言模型,特色 Dolly
联系我们
有多种方式可以与我们取得联系:
贡献
我们欢迎对 Metaflow 的贡献。更多详情请参阅我们的贡献指南。