Github
Huggingface
论文项目概述
Granite-8B-Code-Instruct-GGUF是一个由IBM Research开发的代码生成模型。这是一个基于Granite-8B-Code-Base模型，经过指令微调的8B参数模型。该项目旨在增强模型的指令跟随能力，包括逻辑推理和问题解决技能。
技术特点
- 基础模型：Granite-8B-Code-Base
- 参数规模：8B参数
- 开源协议：Apache 2.0
- 发布日期：2024年5月6日
- 训练数据：使用多个许可数据集进行指令微调
模型版本
该项目提供了多个不同量化版本的模型，以适应不同的硬件环境：
- 最轻量版本(Q2_K)：文件大小3.06GB，需要7.47GB运行内存
- 中等版本(Q4系列)：文件大小在4.59GB-4.88GB之间
- 高精度版本(F16)：文件大小16.12GB，需要19.62GB运行内存
使用方法
模型使用简单的提示模板：
System:
{system_prompt}
Question:
{prompt}
Answer:
用户如果使用Sanctum应用，可以直接选择"IBM Granite Code"模型预设。
应用场景
该模型主要应用于：
- 代码智能生成
- 程序问题解决
- 逻辑推理任务
- 编程辅助
性能评估
模型在HumanEvalSynthesis(Python)数据集上进行了多项评估，Pass@1指标表现良好，其中部分测试项达到了57.9%的通过率，显示出较强的代码生成能力。
硬件要求
根据不同的量化版本，模型对硬件要求各不相同：
- 最低配置：适用于Q2_K版本，需要约7.47GB内存
- 推荐配置：选用Q4或Q5系列版本，需要8GB以上内存
- 高性能配置：使用F16版本，需要20GB左右内存
