访问官网
Github
HuggingfaceCodeFuse-CodeLlama-34B-GGUF项目介绍
项目概述
CodeFuse-CodeLlama-34B-GGUF是一个基于CodeFuse AI公司开发的CodeFuse CodeLlama 34B模型,经过量化处理后生成的GGUF格式模型文件集合。该项目由TheBloke进行量化处理并发布,旨在为开发者提供更小体积、更易部署的代码生成模型选择。
模型特点
- 基于34B参数的大型代码生成模型
- 提供多种量化版本,适应不同硬件环境
- 使用新的GGUF格式,相比GGML格式有诸多优势
- 保留了原模型的代码生成能力
- 支持多种推理框架和部署方式
可用文件
该项目提供了多个不同量化等级的GGUF文件,从2比特到8比特不等。用户可以根据自己的硬件条件和性能需求选择合适的版本:
- Q2_K: 最小体积(14.21GB),但质量损失较大
- Q3_K系列: 体积小(14.61GB-17.77GB),质量损失较高
- Q4_K系列: 中等体积(19.15GB-20.22GB),平衡的质量
- Q5_K系列: 较大体积(23.24GB-23.84GB),低质量损失
- Q6_K: 大体积(27.68GB),极低质量损失
- Q8_0: 最大体积(35.86GB),几乎无损失
其中Q4_K_M和Q5_K_S/M版本是推荐使用的平衡版本。
使用方法
- 下载:可使用huggingface-cli工具下载所需文件
- 本地推理:支持llama.cpp等多种推理框架
- Python调用:可通过ctransformers等库在Python中使用
- Web UI:兼容text-generation-webui等多种界面
许可证
该项目遵循原CodeFuse CodeLlama 34B模型的许可条款,同时也受Llama 2许可条款的约束。使用前请仔细阅读相关许可说明。
总结
CodeFuse-CodeLlama-34B-GGUF项目为开发者提供了一个强大的代码生成模型的多种量化版本,方便在不同场景下的部署和使用。无论是想要在本地进行代码辅助,还是构建基于大模型的编程工具,该项目都是一个值得考虑的选择。
