DeeperSpeed
DeeperSpeed是微软Deepspeed库的一个分支,专为EleutherAI的GPT-NeoX定制。
在2023年3月9日之前,DeeperSpeed基于DeepSpeed的旧版本(0.3.15)。为了迁移到最新的上游DeepSpeed版本,同时允许用户访问GPT-NeoX和DeeperSpeed的旧版本,我们为这两个库引入了两个版本化的发布:
- GPT-NeoX和DeeperSpeed的1.0版本保留了旧的稳定版本的快照,这些版本用于训练GPT-NeoX-20B和Pythia Suite。
- GPT-NeoX和DeeperSpeed的2.0版本是基于最新DeepSpeed构建的最新版本,将继续维护。