#模型并行

llm_training_handbook

该手册为语言模型训练工程师和操作员提供了多种方法和实用脚本，涵盖模型并行性、最大化吞吐量、张量精度和数据类型、训练超参数和模型初始化、不稳定性排查、以及软件和硬件故障调试等方面。适合需要深入技术细节的用户。若需要概述性和概念性内容，请参考姊妹项目The Large Language Model Training Playbook。

AsyncDiff

AsyncDiff是一种创新的扩散模型加速方案，通过将模型分割并在多设备上异步并行处理来提高效率。这种方法巧妙利用了扩散步骤间的相似性，将顺序去噪转变为异步过程，有效打破了组件间的依赖关系。AsyncDiff不仅大幅降低了推理时间，还保持了生成质量。目前已支持Stable Diffusion、ControlNet和AnimateDiff等多种主流扩散模型。