HuggingfaceMidnight-Miqu-70B-v1.5-i1-GGUF项目介绍
项目概况
Midnight-Miqu-70B-v1.5-i1-GGUF是一个基于sophosympatheia/Midnight-Miqu-70B-v1.5模型进行量化的项目。该项目由mradermacher负责量化处理。项目使用的基础库是transformers，主要工作是通过mergekit工具进行合并和量化，从而提高模型的使用灵活性和效率。
使用指南
量化后的GGUF文件提供了不同大小和类型的选项，以适应各种需求。如果用户不确定如何使用GGUF文件，建议参考TheBloke的README以获取更多使用细节，尤其是如何连接多部分文件的说明。
提供的量化文件
项目提供了一系列按照大小排序的量化文件，表格如下：
| 类型 | 文件链接 | 大小/GB | 备注 |
|---|---|---|---|
| i1-IQ1_S | 链接 | 15.0 | 适用于紧急情况 |
| i1-IQ1_M | 链接 | 16.0 | 大多用于紧急情况 |
| i1-IQ2_XXS | 链接 | 18.7 | |
| i1-IQ2_XS | 链接 | 20.8 | |
| i1-IQ2_S | 链接 | 21.8 | |
| i1-IQ2_M | 链接 | 23.7 | |
| i1-Q2_K | 链接 | 25.9 | IQ3_XXS可能更好 |
| i1-IQ3_XXS | 链接 | 27.0 | 质量较低 |
| i1-IQ3_XS | 链接 | 28.6 | |
| i1-IQ3_S | 链接 | 30.3 | 优于Q3_K* |
| i1-Q3_K_S | 链接 | 30.3 | IQ3_XS可能更好 |
| i1-IQ3_M | 链接 | 31.4 | |
| i1-Q3_K_M | 链接 | 33.7 / IQ3_S可能更好 | |
| i1-Q3_K_L | 链接 | 36.6 / IQ3_M可能更好 | |
| i1-IQ4_XS | 链接 | 37.2 | |
| i1-Q4_0 | 链接 | 39.1 | 快速，低质量 |
| i1-Q4_K_S | 链接 | 39.7 | 最佳尺寸/速度/质量 |
| i1-Q4_K_M | 链接 | 41.8 | 快速，推荐 |
| i1-Q5_K_S | 链接 | 47.9 | |
| i1-Q5_K_M | 链接 | 49.2 | |
| i1-Q6_K (分为两部分) | PART 1 PART 2 | 57.0 | 实际上类似静态Q6_K |
为了便于选择不同质量的量化文件，项目还提供了一幅评价不同低质量量化类型的图（图中数值越小越好）。
其他资源
如果用户对模型有其他问题或请求量化其他模型，可以参考在Hugging Face上的模型请求页面。此外，mradermacher感谢其公司nethype GmbH提供的服务器支持和工作站升级，这使得他能够在业余时间进行此项工作。
