访问官网
Github
Huggingface
文档项目概述
这是一个基于Qwen2.5-14B_Uncensored_Instruct模型的优化项目，专注于提供多种不同量化版本的GGUF格式模型文件。该项目由bartowski完成量化工作，使用llama.cpp b3787版本进行处理，旨在让用户能够根据自己的硬件条件选择最适合的模型版本。
模型特点
该项目提供了从高质量到低质量、从大体积到小体积的多种量化版本，包括：
- 完整的F16权重版本(29.55GB)
- 多种Q8、Q6、Q5、Q4、Q3、Q2量化版本
- 特殊的I-quant量化版本
- 针对ARM芯片优化的特殊版本
使用方式
这些模型文件可以在LM Studio中运行，使用统一的提示词格式：
<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
选择建议
在选择合适的模型版本时，用户需要考虑以下因素：
- 设备可用内存(RAM)和显存(VRAM)大小
- 是否需要GPU加速
- 性能与质量的平衡需求
- 硬件平台类型(Nvidia、AMD、ARM等)
下载方式
项目支持两种下载方式：
- 直接从Hugging Face下载单个文件
- 使用huggingface-cli命令行工具下载
技术特色
项目的一些特殊技术亮点包括：
- 部分版本使用Q8_0量化处理嵌入层和输出权重
- 提供针对ARM架构优化的特殊版本
- 新型I-quant量化方法的应用
使用建议
- 追求最快速度：选择小于GPU显存1-2GB的版本
- 追求最高质量：选择小于(系统内存+显存)总和1-2GB的版本
- AMD显卡用户需确认使用的是rocBLAS还是Vulcan版本
- 建议新手用户优先选择K-quant版本(QX_K_X格式)
版本说明
项目提供了多个推荐版本：
- Q6_K_L/Q6_K：接近完美的高质量版本
- Q5_K系列：推荐的高质量版本
- Q4_K_M：适合大多数使用场景的默认版本
- IQ4_XS：性能接近Q4_K_S但体积更小
- 低配置设备可考虑Q3系列或IQ3系列
