#稀疏专家混合

makeMoE

makeMoE是一个基于Andrej Karpathy的makemore项目, 从零构建的稀疏混合专家语言模型。它借鉴了makemore的部分组件，例如数据预处理和生成莎士比亚风格文本。在架构上，makeMoE引入了稀疏专家混合、Top-k门控和噪声Top-k门控等改进。项目在Databricks上使用单一A100 GPU开发，支持大规模GPU集群扩展，并通过MLFlow进行指标跟踪。项目强调代码的可读性和修改性，适合深入学习和改进。