#实验跟踪

mlflow

MLflow 是一个轻量级平台，帮助简化机器学习的开发和部署过程。它支持实验跟踪、代码打包和模型部署，并且可以集成 TensorFlow、PyTorch 和 XGBoost 等库。主要组件包括 MLflow Tracking、MLflow Projects、MLflow Models 和 MLflow Model Registry，助力全面管理机器学习生命周期。

aim

Aim是一款易于使用且功能强大的开源AI实验跟踪工具，支持数以万计的训练运行。它提供了高性能的用户界面来探索和比较训练运行，同时通过其SDK实现对跟踪元数据的编程访问，完美支持自动化和Jupyter Notebook分析。Aim专注于与多种机器学习框架集成，可视化和比较元数据，组织和标记实验，使其成为团队中信赖的机器学习项目支持工具。

neptune-client

Neptune 提供一款高效实验跟踪平台，适用于团队基础模型训练。用户可记录大量运行数据，实时对比实验结果。其灵活日志记录、自定义仪表板、多节点支持，加速训练监控和优化。支持25+框架集成，是MLOps理想工具。

Parea AI

Parea AI为AI团队提供实验和人工标注平台,集成实验跟踪、可观察性和人工标注功能。平台支持评估、审核、提示词管理、可观察性和数据集管理,助力LLM应用高效部署。简洁的SDK设计可与主流LLM服务和框架轻松对接,全面提升AI应用开发效率。

Algomax

Algomax平台专注于大型语言模型(LLM)和检索增强生成(RAG)模型的评估。通过精确评估引擎、深入洞察分析和全面指标体系,简化模型评估流程,优化提示词开发,加快整体开发进度。平台可轻松集成现有系统,提供直观的质性分析仪表盘,适用于客户服务、文档摘要和报告生成等多个领域。

mlops-zoomcamp

MLOps Zoomcamp课程聚焦机器学习服务的生产化实践，涵盖实验跟踪、ML流水线、模型部署、监控和最佳实践等关键环节。课程面向数据科学家、ML工程师及相关从业者，通过理论讲解和实践项目，帮助学员掌握将ML模型从实验环境转化为生产系统的全流程技能。内容涉及MLflow、Mage、Flask等工具的应用，以及CI/CD和基础设施即代码等现代软件开发实践。

SwanLab

SwanLab是一款开源的AI实验跟踪工具，支持跟踪超参数、记录指标、在线协作和分享实验链接。该工具可与PyTorch、TensorFlow等主流框架集成，同时支持离线模式和自托管。SwanLab提供用户友好的API和直观界面，适用于个人研究和团队项目，能够帮助研究人员高效管理、比较和协作AI实验。