Github
Huggingface
文档CodeQwen1.5-7B-GGUF项目简介
CodeQwen1.5-7B-GGUF项目是一个以文本生成为目标的预训练模型，它使用了llama.cpp工具进行量化。该项目的目标是提供高效且性能优越的模型量化方案，以满足不同用户在各种计算环境下的需求。
项目特色
- 语言支持：项目主要支持英文文本生成。
- 预训练模型：CodeQwen1.5-7B是一个经过预训练的模型，能够在多种环境中进行高效的文本生成任务。
- 量化方式：采用了llama.cpp中的imatrix选项进行量化，使得模型在不同量化精度下具有良好的性能。
文件下载与量化类型
项目提供了多种不同量化精度的模型文件，用户可以根据自己的计算环境选择适合的版本。
| 文件名 | 量化类型 | 文件大小 | 描述 |
|---|---|---|---|
| CodeQwen1.5-7B-Q8_0.gguf | Q8_0 | 7.70GB | 极高质量，通常不需要但提供了最大可用量化精度。 |
| CodeQwen1.5-7B-Q6_K.gguf | Q6_K | 6.37GB | 非常高质量，几乎完美，推荐使用。 |
| CodeQwen1.5-7B-Q5_K_M.gguf | Q5_K_M | 5.42GB | 高质量，推荐使用。 |
| CodeQwen1.5-7B-Q4_K_M.gguf | Q4_K_M | 4.73GB | 良好质量，约使用4.83位来表示每个权重，推荐使用。 |
| CodeQwen1.5-7B-IQ4_NL.gguf | IQ4_NL | 4.18GB | 质量尚可，比Q4_K_S小，性能相似，推荐使用。 |
文件选择指南
-
硬件限制：根据可用的RAM和/或VRAM来决定可以运行多大的模型。为了在GPU上以最快速度运行模型，选择比GPU总VRAM小1-2GB的量化文件。
-
质量需求：如果希望获得最高质量，把系统内存和GPU的VRAM容量相加，然后选择比总和小1-2GB的量化文件。
-
量化方式选择：项目提供了两种量化方式：'I-quant'和'K-quant'。'K-quant'更为通用，如Q5_K_M。而'I-quant'在更低的量化级别下更具性能优势，适合作在NVIDIA的cuBLAS或AMD的rocBLAS上运行。
注意事项
- I-quant在CPU和Apple Metal上也可以使用，但会比相应的K-quant慢，因此需要在速度和性能之间有所权衡。
- I-quant不兼容Vulcan（也是AMD的一种工具），因此持有AMD显卡的用户需验证是否在使用rocBLAS或Vulcan构建。
通过结合项目的多样化量化选项和硬件兼容性建议，用户可以根据自身需求选择最优的模型版本，以实现有效的文本生成。
