composer - 适用于大规模模型的高效深度学习训练框架

Composer: 深度学习训练的强大框架

Composer 是由 MosaicML 开发的开源深度学习训练库。它构建在 PyTorch 之上,旨在简化大规模集群上的分布式训练工作流程。

核心特性

Composer 的核心是高度优化的 PyTorch 训练循环,称为 Trainer 抽象。它提供了简单的方法来配置并行化方案、数据加载器、指标、日志记录等。主要特性包括:

卓越的可扩展性:无论是在单个 GPU 还是 512 个 GPU 上训练,Composer 都能保持简单的工作流程。
高度可定制:通过回调系统,用户可以在训练循环的任何点插入自定义逻辑。
内置加速算法:提供了一系列算法加速训练,可以堆叠使用以提升训练速度。
自动恢复:训练失败时可以自动从最新的检查点恢复。
CUDA 内存溢出预防:自动选择适合 GPU 的最大微批量大小。
时间抽象:使用自定义单位(如 epoch、batch、sample、token)来指定训练持续时间。

适用场景

Composer 适用于各种规模的神经网络训练,包括:

大型语言模型(LLM)
扩散模型
嵌入模型(如 BERT)
基于 Transformer 的模型
卷积神经网络(CNN)

生态系统集成

Composer 可以与多种工具和平台集成:

云存储:支持远程存储和从云存储桶加载检查点和日志。
实验跟踪:支持 Weights and Biases、MLFlow、CometML 和 neptune.ai 等平台。
MosaicML 生态系统:与 StreamingDataset、MCLI 等组件协同工作效果最佳。

快速上手

安装 Composer 只需一行命令:

pip install mosaicml

Composer 提供了简洁的 API 来构建训练流程。以下是一个在 MNIST 数据集上训练模型的示例代码:

from composer import Trainer
from composer.models import ComposerClassifier
from composer.algorithms import LabelSmoothing, CutMix, ChannelsLast

trainer = Trainer(
    model=ComposerClassifier(module=Model(), num_classes=10),
    train_dataloader=train_dataloader,
    max_duration="2ep",
    algorithms=[
        LabelSmoothing(smoothing=0.1),
        CutMix(alpha=1.0),
        ChannelsLast(),
    ],
)
trainer.fit()

社区和贡献

Composer 是一个开源项目,欢迎社区贡献。它提供了详细的文档和教程,以及活跃的 Slack 社区供用户交流。MosaicML 团队也在持续更新和改进 Composer,以支持生产级工作负载。

总之,Composer 是一个功能强大、易于使用的深度学习训练框架,特别适合大规模和复杂模型的训练。它提供了优秀的可扩展性、灵活性和效率,是现代深度学习工作流程的理想选择。

composer项目介绍

composer是一个专门用于深度学习训练的开源框架,由MosaicML公司开发。它构建在PyTorch之上,旨在简化大规模集群上的分布式训练工作流程。

主要特点

composer的核心是一个高度优化的PyTorch训练循环,称为Trainer抽象。它提供了简单的方法来配置并行化方案、数据加载器、指标、日志记录等。composer的主要特点包括:

卓越的可扩展性:无论是在单个GPU还是512个GPU上训练,composer都能保持简单的工作流程。它集成了PyTorch的FullyShardedDataParallelism(FSDP),可以高效地并行化自定义模型。
高度可定制:通过回调系统,用户可以在训练循环的任何点插入自定义逻辑。这对于想要实现和实验自定义训练技术的研究人员来说非常有用。
内置加速算法:composer提供了一系列算法加速训练,可以堆叠使用以提升训练速度。例如,它可以将Stable Diffusion的训练成本从20万美元降低到5万美元。
自动恢复:训练失败时可以自动从最新的检查点恢复,无需手动干预。
CUDA内存溢出预防:通过设置microbatch size为"auto",composer可以自动选择适合GPU的最大批量大小。
时间抽象:使用自定义单位(如epoch、batch、sample、token)来指定训练持续时间,避免单位转换错误。

适用场景

composer适用于各种规模的神经网络训练,特别是:

大型语言模型(LLM)
扩散模型
嵌入模型(如BERT)
基于Transformer的模型
卷积神经网络(CNN)

生态系统集成

composer可以与多种工具和平台集成:

云存储:支持远程存储和从云存储桶(如OCI、GCP、AWS S3)加载检查点和日志。
实验跟踪:支持Weights and Biases、MLFlow、CometML和neptune.ai等平台。
MosaicML生态系统:与StreamingDataset(用于高效数据流)和MCLI(用于训练编排)等组件协同工作效果最佳。

快速上手

安装composer只需一行命令:

pip install mosaicml

composer提供了简洁的API来构建训练流程。以下是一个在MNIST数据集上训练模型的示例代码:

from composer import Trainer
from composer.models import ComposerClassifier
from composer.algorithms import LabelSmoothing, CutMix, ChannelsLast

trainer = Trainer(
    model=ComposerClassifier(module=Model(), num_classes=10),
    train_dataloader=train_dataloader,
    max_duration="2ep",
    algorithms=[
        LabelSmoothing(smoothing=0.1),
        CutMix(alpha=1.0),
        ChannelsLast(),
    ],
)
trainer.fit()

社区和贡献

composer是一个开源项目,欢迎社区贡献。它提供了详细的文档和教程,以及活跃的Slack社区供用户交流。MosaicML团队也在持续更新和改进composer,以支持生产级工作负载。

总之,composer是一个功能强大、易于使用的深度学习训练框架,特别适合大规模和复杂模型的训练。它提供了优秀的可扩展性、灵活性和效率,是现代深度学习工作流程的理想选择。