soft-moe-pytorch 项目实现了基于 PyTorch 的软专家混合 (Soft MoE) 模型。该模型支持非自回归编码器，可用于文本到图像等任务。项目特点包括灵活设置专家数量、动态分配插槽，以及与 Transformer 架构兼容。这一工具为深度学习研究和开发提供了高效、可扩展的 MoE 模型实现，有助于提升模型性能。