#AWQ量化
Mistral-7B-Instruct-v0.3-AWQ - Mistral模型AWQ量化版支持高级函数调用和三代分词
AWQ量化Mistral-7B-Instruct-v0.3Github模型量化自然语言处理Huggingface开源项目模型大语言模型
作为Mistral-7B-Instruct-v0.3的AWQ量化版本，该模型采用4比特压缩技术，在提供快速推理性能的同时保持了原有精度。通过扩展词汇表和引入第三代分词技术，增强了模型的理解能力。目前已集成到主流AI框架平台，可在搭载NVIDIA显卡的Linux或Windows系统上运行。
Qwen2.5-Coder-7B-Instruct-AWQ - AWQ量化7B参数代码模型支持128K长文本处理
Qwen2.5-Coder人工智能代码生成Github模型开源项目大语言模型AWQ量化Huggingface
Qwen2.5-Coder-7B-Instruct-AWQ是一个AWQ量化的4比特指令微调模型，具有7B参数。该模型在代码生成、推理和修复方面表现出色，支持处理长达128K tokens的上下文。它采用28层、28个注意力头的因果语言模型架构，并应用RoPE、SwiGLU等技术。这一模型在提升编码能力的同时，保持了数学和通用领域的性能，为代码智能助手等应用提供了坚实基础。