Flyte 项目简介
Flyte 是一个开源的编排器,专注于建设适用于生产的数据和机器学习(ML)管道。该项目的设计理念是实现可扩展性和可重复性,其底层架构基于 Kubernetes 技术。利用 Flyte,用户团队可以通过 Python SDK 构建管道,然后无缝地在云端和本地环境中进行部署,以实现分布式处理和高效的资源利用。
构建
开发者可以使用 Python 或其他语言编写代码,并利用强大的类型引擎进行开发。
部署与扩展
无论是在本地还是远程集群,用户都可以轻松执行他们的模型。
快速开始
- 安装 Flyte 的 Python SDK
pip install flytekit
- 创建工作流(示例代码可以参考 这里)
- 本地运行:
pyflyte run hello_world.py hello_world_wf
准备尝试 Flyte 集群?
- 创建一个新的沙箱集群,运行在 Docker 容器中:
flytectl demo start
- 在集群上执行你的工作流:
pyflyte run --remote hello_world.py hello_world_wf
想要观察更多功能且无需安装?可以访问 sandbox.union.ai,在这里你可以通过托管的 Jupyter notebook 探索 Flyte 的功能。
准备上生产环境?去 部署指南 查看在不同环境下安装 Flyte 的说明。
教程示例
功能特点
- 🚀 强类型接口:通过定义类型确保工作流中的每一步的数据都经过验证。
- 🌐 支持任意语言:可用任意语言编写代码,或选择 Python、Java、Scala、JavaScript SDK 开发 Flyte 工作流。
- 🔒 不可变性:不可变的执行可确保执行状态不被改变,从而保证可重复性。
- ...(省略说明详细功能的部分)
谁在使用 Flyte
很多知名公司如 LinkedIn、Spotify、Freenome、Pachama、华纳兄弟等,已经采用 Flyte 进行关键任务的使用案例。欲了解全部使用者列表和如何添加贵组织或项目,请访问 使用者清单页面。
如何参与社区
- 👥 每月的社区同步:每月的第一个星期二举行,Flyte 团队提供项目更新,社区成员可以分享进展并提问。
- 💬 Slack 聊天:加入 Flyte 社区在 Slack 上的聊天,与其他用户交流,获取帮助。
- ⚠️ 新闻简报:可加入接收 Flyte 月度简报。
- 📹 Youtube:关注关于面板讨论、客户成功案例、社区更新以及功能深度剖析。
- 📄 博客:这里你能找到教程和功能深度分解,以帮助你更好地学习 Flyte。
- 💡 RFCs:RFCs 用于提出新的想法和功能,以改善 Flyte。
如何贡献
参与 Flyte 社区有很多方法,包括提交错误报告和功能请求、审阅文档、演讲或撰写关于 Flyte 的使用经验、认领标签为“需要帮助”或“第一次问题”的任务并根据贡献指南提交代码等。
我们对所有贡献者表示感谢 ❤️