#OpenOrca
Mistral-7B-OpenOrca - 基于Mistral微调的高效开源大语言模型
人工智能Github开源项目模型训练语言模型模型MistralHuggingfaceOpenOrca
Mistral-7B-OpenOrca是一个使用OpenOrca数据集对Mistral 7B进行微调的开源大语言模型。模型在HuggingFace基准测试中展现出优秀性能，支持ChatML格式，适配消费级GPU硬件。此外还提供多种量化版本选择，便于部署和使用。
Mistral-7B-OpenOrca-AWQ - 高效4比特量化，实现多用户并发推理
Github开源项目模型量化HuggingfaceMistral 7BAWQ并行推理OpenOrca
项目提供OpenOrca的Mistral 7B模型的AWQ版本。AWQ是一种4比特的低比特量化方法，在Transformers推理中更快速，与GPTQ相比具有效率优势。AWQ支持在多用户环境中实现高效的并发推理，有助于使用更小的GPU进行部署，减少整体成本，尽管总体吞吐量仍略低于未量化模型。