#管道

awesome-pipeline

Awesome Pipeline收录了多种数据流水线工具,包括框架、库和平台。这些工具可帮助构建和优化各类数据处理流程,从简单的线性工作流到分布式计算均有涉及。该项目为不同规模的数据处理需求提供了丰富的开源解决方案。

datatrove

DataTrove是一个开源Python库，专门用于处理、过滤和去重大规模文本数据。它提供预构建的常用处理模块和自定义功能支持。该库的处理流程可在本地或Slurm集群上运行，具有低内存消耗和多步骤设计，适合处理大型语言模型训练数据等大规模工作负载。DataTrove支持多种文件系统，为数据处理提供灵活解决方案。

pipelines

Kubeflow Pipelines是基于Kubernetes的机器学习工作流程编排平台，旨在简化ML工作流的部署和管理。该平台提供端到端的编排功能，支持快速实验和组件复用，便于构建完整的ML解决方案。通过Kubeflow Pipelines SDK，开发者可创建可重用、可扩展的ML管道，提高ML项目的效率和可管理性。