基于 Tekton 的 Kubeflow Pipelines
将 Kubeflow Pipelines 和 Tekton 结合的项目。该项目按照这份设计文档进行开发。目前的代码允许您端到端地使用 Tekton 后端运行 Kubeflow Pipelines。
- 使用 Kubeflow Pipelines DSL 创建您的 Pipeline,并将其编译为 Tekton YAML。
- 将编译后的 Tekton YAML 上传到 KFP 引擎(API 和 UI),并启用日志记录和工件跟踪功能进行端到端运行。
- 在 KFP-Tekton V2 中,SDK 编译器将生成与主要 Kubeflow pipelines SDK 相同的中间表示。所有与 Tekton 相关的实现都嵌入到 V2 后端 API 服务中。
有关该项目的更多详细信息,请参阅这篇详细的博客文章。关于最新的 KFP-Tekton V2 实现和支持的产品,请查看我们最新的 Kubecon 演讲和幻灯片。有关 KFP-Tekton V1 实现的信息,请查看这些幻灯片以及这个深入探讨演示。
架构
我们目前在该项目的主分支中使用 Kubeflow Pipelines 1.8.4 和 Tekton >= 0.53.2。
对于 Kubeflow Pipelines 2.0.5 和 Tekton >= 0.53.2 的集成,请查看 kfp-tekton v2-integration 分支和 KFP-Tekton V2 部署。
Kubeflow Pipelines 是一个用于构建和部署可移植、可扩展的机器学习(ML)工作流的平台。有关 Kubeflow Pipelines 的更多架构细节可以在 Kubeflow 网站上找到。
Tekton Pipelines 项目提供了 Kubernetes 风格的资源,用于声明 CI/CD 风格的管道。Tekton 引入了几个自定义资源定义(CRD),包括 Task、Pipeline、TaskRun 和 PipelineRun。PipelineRun 代表 Pipeline 的单个运行实例,负责为每个 Task 创建一个 Pod,并在每个 Pod 中创建与步骤数量相同的容器。更多详细信息请查看 Tekton 仓库。
开始使用基于 Tekton 的 Kubeflow Pipelines
安装带有 Tekton 后端的 Kubeflow Pipelines