访问官网
Github
HuggingfaceDeepSeek-Coder-V2-Lite-Base-GGUF 项目介绍
DeepSeek-Coder-V2-Lite-Base-GGUF 是一个面向文本生成任务的项目，通过利用 llama.cpp 平台的量化工具，进一步优化了 DeepSeek-Coder-V2-Lite-Base 模型的性能和体积。
模型量化
该项目通过 imatrix 选项对原始模型进行了量化处理。量化的目的是通过减少模型参数的位数来缩小模型的体积，同时尽量保持模型的性能。这种优化使得模型在低内存环境下也能高效运行，并且提供了多种量化文件供用户选择。
提示格式
DeepSeek-Coder-V2-Lite-Base-GGUF 项目定义了一种标准的提示格式，方便与模型进行互动。提示格式如下所示：
<｜begin▁of▁sentence｜>{system_prompt}
User: {prompt}
Assistant: <｜end▁of▁sentence｜>Assistant:
通过这种格式，用户可以指定系统提示和用户提示，随后模型以“Assistant”的身份生成响应。
文件下载
用户可以从提供的链接中下载所需的量化文件。以下是一些可供下载的文件类型及其简要描述：
- Q8_0_L: 实验性量化文件，使用浮点16进行嵌入和输出权重，高质量但通常不需要，文件大小为17.09GB。
- Q6_K_L: 高质量近乎完美，推荐使用，文件大小为14.56GB。
- Q4_K_M: 质量较好且推荐使用，文件大小为10.36GB。
- IQ4_XS: 性能与 Q4_K_S 类似且更小，推荐使用，文件大小为8.57GB。
使用 Huggingface-CLI 下载
下载前需要确保已安装 huggingface-cli：
pip install -U "huggingface_hub[cli]"
然后使用以下命令下载指定的量化文件：
huggingface-cli download bartowski/DeepSeek-Coder-V2-Lite-Base-GGUF --include "DeepSeek-Coder-V2-Lite-Base-Q4_K_M.gguf" --local-dir ./
如何选择合适的量化文件
用户在选择量化文件时，需要根据自己的 RAM 和 VRAM 来决定可以运行多大的模型：
- 如果希望模型运行速度尽可能快，应选择比 GPU 总 VRAM 小1-2GB的量化文件。
- 如果追求最高质量，可选择比系统 RAM 和 GPU VRAM 之和小1-2GB的量化文件。
选择时还需考虑是否使用 I-quant 或 K-quant。如果想省事，选择 K-quant；如果关注细节并希望获得更好的性能表现，可以使用 I-quant。
支持和感谢
如果您对该项目感兴趣并希望支持作者的工作，可以访问作者的 ko-fi 页面：访问链接。
