#分布式训练

composer

Composer 是 MosaicML 开发的开源深度学习训练库，基于 PyTorch 构建，专为大规模模型的高效训练设计。支持语言模型、扩散模型和卷积神经网络等，简化了并行化配置、数据加载、自动恢复和内存优化。该库帮助用户快速进行深度学习实验和模型训练。

FedML

TensorOpera AI简化了生成式AI和大型语言模型的训练与部署。通过集成的MLOps、调度器和高性能机器学习库，开发者可以在去中心化GPU、多云、边缘服务器和智能手机上经济高效地运行复杂的AI任务。TensorOpera Launch自动配对最经济的GPU资源，消除环境设置和管理难题，支持大规模训练和无服务器部署。TensorOpera Studio和Job Store帮助开发者微调和部署模型，实现高效的跨平台AI工作流。

ColossalAI

Colossal-AI致力于使大型AI模型的训练更加经济、快速且易于获取。通过支持多种并行策略，包括数据并行、流水线并行、张量并行和序列并行，Colossal-AI可以大幅提高大规模模型训练的速度。此外，还集成了异构训练和零冗余优化器技术，使得在多GPU集群上的训练过程更加高效和灵活。Colossal-AI通过这些先进的功能，已被广泛应用于生产和研究场景，显著推动了AI技术的进步和应用。

training-operator

Kubeflow Training Operator是一个Kubernetes原生工具，支持PyTorch、TensorFlow等多种框架的分布式训练。用户可以通过Kubernetes自定义资源API或Python SDK轻松部署和管理大规模机器学习模型的训练任务。项目还提供全面的监控设计和社区支持，是优化模型训练流程的理想工具。

llm_interview_note

本仓库汇集了大语言模型（LLMs）的面试知识和实用资源，适合准备大模型面试的求职者。内容涵盖大模型基础、架构、训练数据、分布式训练、推理优化、强化学习、RAG技术、模型评估及应用案例。提供详细的知识点解析和操作指南，并附有项目示例和在线体验链接。定期更新，确保内容时效性和实用性。欢迎访问在线阅读页面，关注微信公众号获取更多相关信息。

DeepSpeed

DeepSpeed 是一个深度学习优化软件套件，专为大规模模型训练和推理设计，能显著优化系统性能和降低成本。它支持亿级至万亿级参数的高效管理，兼容各种计算环境，从资源受限的GPU系统到庞大的GPU集群。此外，DeepSpeed 在模型压缩和推理领域亦取得创新成就，提供极低的延迟和极高的处理速率。

dgl

DGL是一个高效易用的Python包，支持在图上执行深度学习。兼容PyTorch、Apache MXNet和TensorFlow等多种框架，提供GPU加速的图库、丰富的GNN模型示例、全面的教学材料及优化的分布式训练功能。适合从研究人员到行业专家的各类用户。广泛应用于学术及实践领域，无论是基础教学还是高级图分析，DGL均能有效支持。

llm-action

llm-action项目为NVIDIA GPU和Ascend NPU上的大模型训练提供简易工具，详细介绍了LLM训练技术的高效微调和分布式技术。深入探究LLM微调实战与技术原理，并提供实际代码示例以供学习和应用。涵盖普适性框架与多模态微调专项技术，适合开发者与研究人员优化和扩展其AI模型的能力。

oneflow

OneFlow是一款深度学习框架，提供类似PyTorch的API，支持n维并行执行的全局张量以及图编译器用于加速和部署模型。最新版本1.0.0已发布，兼容Linux和多个Python版本。用户可以通过Docker或Pip轻松安装，并利用丰富的文档和模型库快速上手，适合大型变压器模型的并行训练和计算机视觉任务。