Github
Huggingface
文档
论文granite-3.0-8b-instruct项目介绍
项目简介
granite-3.0-8b-instruct 是一款具有80亿参数的语言模型。该模型由Granite-3.0-8B-Base模型微调而来，结合了许可证宽松的开源指令数据集和内部收集的合成数据集。开发阶段采用了多种技术，包括监督微调、利用强化学习进行模型矫正以及模型合并。
- 开发者：IBM的Granite团队
- GitHub主页：ibm-granite/granite-3.0-language-models
- 官方网站：Granite Docs
- 发行日期：2024年10月21日
- 许可证：Apache 2.0
支持语言
Granite-3.0-8B-Instruct支持12种语言，包括英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。用户还可以对这些模型进行微调，以支持其他语言。
预定用途
该模型旨在响应一般指令，可用于构建多领域的AI助手，包括商业应用中。
功能特点
- 总结
- 文本分类
- 文本提取
- 问答
- 增强型检索生成（RAG）
- 代码相关任务
- 函数调用任务
- 多语言对话用例
使用示例
用户可以非常简单地安装相关库，并按照示例代码使用该模型进行文本生成：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "auto"
model_path = "ibm-granite/granite-3.0-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
chat = [
{ "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
output = model.generate(**input_tokens, max_new_tokens=100)
output = tokenizer.batch_decode(output)
print(output)
模型架构
Granite-3.0-8B-Instruct采用了仅解码密集transformer架构。其核心组件包括GQA和RoPE、带有SwiGLU激活函数的MLP、RMSNorm及共享输入/输出嵌入。
训练数据
模型的训练数据主要来自于三种关键来源：(1)允许开源的公共数据集，(2)针对特定功能的内部合成数据，(3)极少量的人为策划数据。这些数据集的详细信息可以在Granite技术报告中查看。
基础设施
IBM使用旗下超算集群Blue Vela进行Granite 3.0语言模型的训练，该集群配备了NVIDIA H100 GPU，能够在大规模GPU上进行高效训练，并通过100%可再生能源最大限度地减少环境影响。
伦理考量与限制
Granite 3.0指令模型主要通过英文本指令-响应对进行微调，但也涵盖了其他十一种语言的多语言数据。虽然模型可以处理多语言对话用例，但在非英语任务上的性能可能存在差异。在这种情况下，可以通过少数示例让模型生成更准确的输出。虽然在模型对齐过程中考虑了安全性，但模型有时可能会生成不准确、有偏见或不安全的响应，建议在使用时进行适当的安全测试和调整。
