Github
Huggingface
论文项目概述
Granite-3B-Code-Instruct GGUF是一个由IBM Research开发的代码智能模型。这是一个基于Granite-3B-Code-Base模型微调而来的3B参数模型，通过使用许可的指令数据集进行训练，着重提升了模型的指令遵循能力、逻辑推理和问题解决能力。
技术特点
此项目由SanctumAI进行量化处理，提供了多种不同量化版本的模型文件。主要特点包括：
- 采用Apache 2.0开源许可证
- 支持32k tokens的上下文长度
- 提供多种量化版本，从Q2到F16不等
- 内存占用优化，最小版本仅需4.68GB内存
模型版本
该项目提供了丰富的量化版本选择，以适应不同的硬件环境：
- 轻量级版本：Q2_K版本(1.34GB)适合资源受限环境
- 中等版本：Q4系列(2.00-2.21GB)提供平衡的性能
- 高精度版本：Q8_0(3.71GB)和F16(6.97GB)适合追求高精确度的场景
使用方法
模型使用简单直观，提供了标准的提示模板：
System:
{system_prompt}
Question:
{prompt}
Answer:
对于Sanctum应用用户，可以直接选择"IBM Granite Code"模型预设使用。
数据集支持
模型训练采用了多个高质量数据集，包括：
- bigcode/commitpackft
- TIGER-Lab/MathInstruct
- meta-math/MetaMathQA
- glaiveai/glaive-code-assistant-v3
- nvidia/HelpSteer等
性能评估
在HumanEvalSynthesis(Python)测试中，模型展现了稳定的性能表现：
- 最高pass@1指标达到51.2%
- 多项测试中保持在30-40%的通过率
- 展现了较好的代码生成和理解能力
应用场景
这个模型特别适合于：
- 代码智能补全
- 程序逻辑分析
- 技术问题解答
- 编程辅助工具开发
