#GPTQ量化
Mistral-7B-OpenOrca-GPTQ - Mistral语言模型的GPTQ量化优化实现
Github开源项目深度学习自然语言处理模型部署模型HuggingfaceMistral-7BGPTQ量化
本项目对Mistral-7B-OpenOrca模型进行GPTQ量化处理,提供4位和8位精度、多种分组大小的量化版本。通过优化存储和计算方式,在保持模型性能的同时大幅降低显存占用。项目支持text-generation-webui、Python等多种调用方式,并提供完整的使用文档。
Mistral-7B-Instruct-v0.3-GPTQ - Mistral 7B指令模型的4位量化优化版本
Github开源项目大语言模型模型Huggingface函数调用指令微调Mistral-7B-Instruct-v0.3GPTQ量化
Mistral-7B-Instruct-v0.3是一个经过GPTQ 4位量化的语言模型。基于Mistral-7B-v0.3开发，集成了32768词汇量、v3分词器和函数调用功能。模型可用于创意写作等任务，但由于缺少内容审核机制，在应用环境选择上需要谨慎评估。