#AWQ量化
Mistral-7B-Instruct-v0.1-AWQ - AWQ量化优化的Mistral-7B指令模型 支持GPU加速推理
模型人工智能Mistral-7B-Instruct-v0.1Github大语言模型指令微调AWQ量化Huggingface开源项目
Mistral-7B-Instruct-v0.1-AWQ是基于Mistral AI开源的指令微调语言模型,经过AWQ 4位量化优化。该模型保留了原版的分组查询注意力和滑动窗口注意力等特性,同时大幅降低了模型大小,提升了GPU推理速度。它支持处理4096个token的长文本输入,适合需要高效部署的应用场景。开发者可以通过Python接口便捷地使用该模型进行文本生成。
Mistral-7B-Instruct-v0.3-AWQ - Mistral模型AWQ量化版支持高级函数调用和三代分词
AWQ量化Mistral-7B-Instruct-v0.3Github模型量化自然语言处理Huggingface开源项目模型大语言模型
作为Mistral-7B-Instruct-v0.3的AWQ量化版本，该模型采用4比特压缩技术，在提供快速推理性能的同时保持了原有精度。通过扩展词汇表和引入第三代分词技术，增强了模型的理解能力。目前已集成到主流AI框架平台，可在搭载NVIDIA显卡的Linux或Windows系统上运行。
Qwen2.5-Coder-7B-Instruct-AWQ - AWQ量化7B参数代码模型支持128K长文本处理
Qwen2.5-Coder人工智能代码生成Github模型开源项目大语言模型AWQ量化Huggingface
Qwen2.5-Coder-7B-Instruct-AWQ是一个AWQ量化的4比特指令微调模型，具有7B参数。该模型在代码生成、推理和修复方面表现出色，支持处理长达128K tokens的上下文。它采用28层、28个注意力头的因果语言模型架构，并应用RoPE、SwiGLU等技术。这一模型在提升编码能力的同时，保持了数学和通用领域的性能，为代码智能助手等应用提供了坚实基础。