#Mistral-7B-Instruct
SPPO: 自对弈偏好优化方法推动大语言模型对齐新突破
2024年09月04日
相关项目
SPPO
SPPO采用自我对弈框架和新的学习目标，有效提升大规模语言模型性能。通过理论推导和多数据集实证验证，SPPO无需外部信号即可超越GPT-4等模型。该项目源代码和多个优化模型如Mistral-7B、Llama-3-8B、Gemma-2-9B均已开源，详情可参考相关论文。
Mistral-7B-Instruct-v0.3-GPTQ-4bit
Mistral-7B-Instruct-v0.3-GPTQ-4bit是Mistral-7B指令模型的4位量化版本。通过GPTQ技术，该模型在大幅缩小体积的同时，保持了原模型99.75%的准确率。在多项基准测试中，该模型平均准确率达65.05%。它兼容vLLM优化推理，可作为高效的自然语言处理服务器部署。
Mistral-7B-Instruct-v0.3-GGUF
本项目提供Mistral-7B-Instruct-v0.3模型的GGUF格式量化版本。GGUF是llama.cpp团队开发的新格式，兼容多种客户端和库。模型支持2-8位量化，可在不同平台上实现GPU加速，适合文本生成和对话应用。这为在本地设备部署高性能大语言模型提供了便捷解决方案。