访问官网
Github
Huggingface项目介绍：Qwen2.5-3B-Instruct-GGUF
Qwen2.5-3B-Instruct-GGUF项目以Qwen/Qwen2.5-3B-Instruct作为基础模型，专注于文本生成任务，为聊天场景提供支持。该项目通过使用llama.cpp的b3772版本进行量化，优化了模型的运行效率，并且提供多种类型的量化文件以供用户选择。
模型的基本信息
- 基础模型: Qwen/Qwen2.5-3B-Instruct
- 语言: 英语
- 许可证名称: qwen-research
- 许可证链接: LICENSE
- 功能标签: 文本生成，聊天
用于量化的工具
该项目使用了llama.cpp项目中的b3772版本进行模型量化。原始模型可以在这里找到。所有量化文件都使用了imatrix选项，通过指定的数据集进行处理，并推荐在LM Studio中运行。
模型更新内容
新版本中更新了tokenizer，提升了模型的文本处理能力。
可下载的量化文件
Qwen2.5-3B-Instruct-GGUF项目提供了众多量化文件，每个文件根据尺寸和量化类型的不同，性能和适用场景也不同。以下是一些可供下载的文件：
- F16 全量权重文件（6.18GB）：适合需要完整F16精度的场景。
- Q8_0 高精度量化文件（3.29GB）：提供极高质量，通常不需要除非对精度有极限要求。
- Q6_K_L & Q6_K 文件（约2.6GB）：推荐使用，提供近乎完美的高质量输出，用于嵌入和输出权重的Q8_0量化。
- Q4_0_ARM 优化量化文件（1.82GB）：专为ARM芯片优化，需相应硬件支持。
如何选择合适的文件
选择合适的量化文件时，需考虑设备的RAM和VRAM大小，以确保能够高效运行。另外，还需根据质量和性能需求选择K-quant或I-quant文件：
- K-quant格式如Q5_K_M，适合一般需求。
- I-quant格式如IQ3_M，用于追求更高效率的应用环境。
贡献者与感谢
项目感谢kalomaze和Dampf在创建imatrix校准数据集中的协助，以及ZeroWw在嵌入和输出实验中的启发。欲了解更多合作或支持信息，可访问Ko-fi页面支持项目工作。
