DeeperSpeed
DeeperSpeed是DeepSpeed库的分支,专为EleutherAI的GPT-NeoX项目优化。该项目提供两个版本:1.0版保留了训练GPT-NeoX-20B和Pythia Suite所用的稳定版本,2.0版则基于最新DeepSpeed构建并持续更新。DeeperSpeed通过优化训练流程,提高了大型语言模型的开发效率。