#Mixtral-8x7B
Mixtral-8x7B：Mistral AI的突破性大模型，超越GPT3.5，重新定义人工智能性能和多样性
2024年08月03日
相关项目
mixtral-offloading
该项目实现了Mixtral-8x7B模型的高效推理，使用混合量化和MoE卸载策略。通过HQQ量化方案分别处理注意力层和专家层，使模型适应GPU和CPU内存。每层的专家单独卸载并在需要时重新加载到GPU，活跃专家存储在LRU缓存中以减少GPU-RAM通信。更多技术细节和结果请参阅技术报告。
Aurora
Aurora项目通过整合三大中文数据集，提升了Mixtral-8x7B稀疏专家模型的中文对话能力。通过数据预处理和指令微调，该模型在C-Eval、MMLU和CMMLU基准测试中表现出色。这项研究首次在稀疏专家模型上应用指令微调，提升了模型的架构能力，特别是在零样本任务中表现卓越。
Mixtral-8x7B-Instruct-v0.1
Mixtral-8x7B是一个预训练生成式稀疏混合专家大语言模型,在多数基准测试中超越Llama 2 70B。支持法语、意大利语、德语、西班牙语和英语等多语言,采用Apache-2.0许可。模型基于Mixtral-8x7B-v0.1,可通过transformers或vLLM进行推理,并支持半精度、8位和4位量化以优化内存使用。
Mixtral-8x7B-v0.1
Mixtral-8x7B是一款预训练的生成式稀疏专家混合大语言模型,在多数基准测试中性能优于Llama 2 70B。该模型支持法语、意大利语、德语、西班牙语和英语等多语言处理。开发者可通过Hugging Face transformers库或vLLM部署使用,并可采用半精度、8位和4位量化等方法降低内存占用。作为基础模型,Mixtral-8x7B不含内置审核机制,使用时需注意。