#机器学习平台
Runbooks:基于Kubernetes的LLM微调工具
TensorFlow Extended (TFX):构建端到端机器学习生产流水线的强大平台
Prophecis
Prophecis是由微众银行开发的多租户机器学习平台,集成了多种开源框架,包括TensorFlow、Python和XGBoost,提供生产环境的全栈容器部署和管理服务。平台覆盖了从数据上传、预处理到模型部署的完整流程,支持一键部署为RESTful API或RPC接口。Prophecis还提供企业级应用发布、监控、服务管理和日志查询工具,满足企业在机器学习生产环境中的所有需求。
tfx
TFX是Google开发的基于TensorFlow的生产级机器学习平台,提供配置框架来搭建多个TFX组件的机器学习流水线。该流水线可以用Apache Airflow和Kubeflow Pipelines进行编排,组件和编排系统都可扩展,支持ML Metadata后端来实现实验追踪和模型热启动等高级功能。TFX适用于Python 3.9至3.10,兼容多种主要依赖库。
mediapipe-samples
MediaPipe-samples项目展示了创建机器学习应用的基本步骤。项目提供MediaPipe Solutions的低代码/无代码工具,如Tasks、Model Maker和Studio,用于构建跨平台ML解决方案。该仓库接受修复性贡献,但不接收新示例以保持项目简洁。开发者可在自有仓库中分享复杂示例和教程。
community
Kubeflow社区为机器学习平台提供开放、包容的协作环境。该社区鼓励各界人士参与讨论、会议和项目贡献,并遵循行为准则以确保公平参与。社区成员可通过提出创意和修复问题来推动项目发展。此外,社区制定了品牌使用指南,规范Kubeflow商标应用。社区仓库中的设计提案和流程文档为Kubeflow的持续演进提供了方向。
codalab-competitions
CodaLab是一个开源网络平台,专为机器学习和高级计算领域的研究协作而设计。平台提供工作表共享和竞赛参与功能,有效解决数据研究中的常见问题。CodaLab通过简化数据处理和模型评估流程,显著提高研究效率。平台支持多种编程语言和框架,适应不同研究需求。其开源特性也允许用户根据特定需求进行定制和扩展。用户可在codalab.lisn.fr体验CodaLab Competition。项目支持快速部署,并提供完善的文档和社区支持。
runbooks
这是一个基于Kubernetes的开源机器学习Notebook平台,提供统一的跨云环境支持,实现类似Colab的无缝体验。用户可通过低代码或无代码方式微调LLM模型,安装简单且依赖最小化。该平台简化了机器学习工作流程,使模型训练和部署更为便捷。它支持多种主流云平台,适用于需要高效管理和运行机器学习任务的研究人员和开发者,尤其适合大规模分布式训练和推理场景。