#MoE模型

Chinese-Mixtral-8x7B通过中文扩词表和增量预训练，提高了在中文编解码和生成理解能力。项目提供完整的开源模型及预训练代码，支持QLoRA训练和多种推理加速方案。其在中文知识和理解上的表现卓越，同时在英文方面也表现不俗，适用于各种中文自然语言处理应用场景。

DeepSeek-Coder-V2是一款性能出色的开源代码语言模型，在多项代码相关任务中展现了强大实力。该模型支持338种编程语言，拥有128K的上下文长度，采用混合专家(MoE)架构。提供16B和236B两种参数版本，在代码生成、补全和修复等任务中表现卓越，同时在数学推理和通用语言任务中也展现出强大能力，为代码智能领域带来重要进展。