Yi-1.5-34B-Chat-GGUF - 多种量化选项助力Yi-1.5-34B-Chat模型优化

Yi-1.5-34B-Chat-GGUF项目介绍

项目背景

Yi-1.5-34B-Chat-GGUF项目致力于为文本生成任务提供高效且多样化的模型选择。该项目的原模型来源于Hugging Face的01-ai/Yi-1.5-34B-Chat，并通过llama.cpp库进行了量化，借此提高模型在运行效率和资源利用方面的表现。

项目目的

Yi-1.5-34B-Chat-GGUF项目的核心目标是通过量化技术，将大型语言模型的应用变得更加灵活和低成本。通过多种不同量化精度的文件，用户可以根据自己的硬件配置和使用需求选择合适的版本，从而在不同的设备上实现最优的性能表现。

量化文件及其特性

在Yi-1.5-34B-Chat-GGUF项目中，提供了一系列量化后的模型文件，每个文件都有适合不同使用场景的特点。

高质量模型：如Yi-1.5-34B-Chat-Q6_K.gguf（28.21GB），质量接近完美，非常适合对输出质量要求高的应用。
推荐模型：例如Yi-1.5-34B-Chat-Q5_K_M.gguf（24.32GB）和Yi-1.5-34B-Chat-Q5_K_S.gguf（23.70GB），在质量和文件大小之间做了良好平衡。
中低质量模型：如Yi-1.5-34B-Chat-IQ3_M.gguf（15.56GB）和Yi-1.5-34B-Chat-IQ3_S.gguf（15.01GB），适合RAM较少的情况下使用。

用户可以根据不同的量化类型选择适合针对不同任务需求的模型。通常，文件越大质量越高，文件越小则更适合资源受限的环境。

下载指南

用户可以通过Huggingface-cli工具下载所需的量化文件：

确保安装hugginface-cli：
```
pip install -U "huggingface_hub[cli]"
```

选择并下载特定的模型文件：

huggingface-cli download bartowski/Yi-1.5-34B-Chat-GGUF --include "Yi-1.5-34B-Chat-Q4_K_M.gguf" --local-dir ./ --local-dir-use-symlinks False

对于大于50GB的文件，将其拆分至多个小文件后下载到本地：

huggingface-cli download bartowski/Yi-1.5-34B-Chat-GGUF --include "Yi-1.5-34B-Chat-Q8_0.gguf/*" --local-dir Yi-1.5-34B-Chat-Q8_0 --local-dir-use-symlinks False

如何选择合适的模型文件？

选择模型时，应首先根据设备的RAM和/或VRAM判断能够承载的最大模型大小，并推荐选择比设备可用内存小1-2GB的文件。此外，还应考虑量化类型的选择：

K-quant文件：若不想过多思考，直接选择此类文件，如Q5_K_M，就能获得不错的表现。
I-quant文件：在内存或VRAM较小，且使用cuBLAS或rocBLAS时，这类文件提供了更好的性能，但在Vulcan（AMD）的情况下仍不适用。

其他说明

对于希望支持该项目的用户，可以通过此链接访问作者的Ko-fi页面：Bartowski的Ko-fi页面。