Github
HuggingfaceGrok-1 GGUF 项目介绍
Grok-1 GGUF 是一个非官方的量化模型项目，兼容 llama.cpp 这一工具。目前该项目致力于提供对 Grok-1 模型的支持，并且不断进行更新和优化，以便用户能够更简便地使用这些量化分片模型。
项目更新
llama.cpp 的本地分片支持
Grok-1 GGUF 项目与 llama.cpp 合作进行了模型分片的改进。通过这些更新，现在不再需要手动合并分片文件。只需下载所有分片文件，运行时直接使用第一个分片文件即可。系统将自动检测并加载其他相关分片。
直接从 Hugging Face 下载分片
得益于最新的更新，现在能够通过互联网直接从 Hugging Face 下载模型分片。这大大简化了模型的加载和运行。这一改进让用户能够通过如下命令直接下载并运行模型：
server \
--hf-repo Arki05/Grok-1-GGUF \
--hf-file grok-1-IQ3_XS-split-00001-of-00009.gguf \
--model models/grok-1-IQ3_XS-split-00001-of-00009.gguf \
-ngl 999
这种方式便捷又高效，极大地优化了用户体验。
可用量化模型
Grok-1 GGUF 目前提供以下几种量化模型供下载：
| 量化模型 | 分片文件 | 大小 |
|---|---|---|
Q2_K | 包含9个分片，每个分片文件可以从Hugging Face 获取 | 112.4 GB |
IQ3_XS | 同样包含9个分片，每个分片文件的链接可在Hugging Face 网站上找到 | 125.4 GB |
Q4_K | 9个分片文件，总大小为186.0 GB | 186.0 GB |
Q6_K | 9个分片文件，合计大小达到259.8 GB | 259.8 GB |
其中，推荐用户优先选择使用 IQ3_XS 版本，因为它具有较好的性能表现。
近期计划
项目团队计划很快上传更多的量化模型。需要指出的是，目前提供的所有量化模型均未经过重要性矩阵的优化，这一特性或许将在未来的更新中加入。
总之，Grok-1 GGUF 通过不断的改进与更新，正努力为用户提供更高效便捷的模型下载和使用体验。
