访问官网
Github
Huggingface
文档Llama-3.2-3B-Instruct-GGUF 项目介绍
项目背景
Llama-3.2-3B-Instruct-GGUF 是 Meta 公司开发的一个多语言大规模语言模型（LLM），以广泛的语言支持和高效的文本生成能力为亮点。此项目特别针对指令调教过的文本生成模型，专注于多语言对话的使用场景，例如知识检索和总结等任务。
模型信息
Llama 3.2 是一种自回归语言模型，基于优化的 transformer 架构进行开发。其调优版本使用了监督微调（SFT）和人类反馈的强化学习（RLHF）技术，以更符合用户对安全和帮助的偏好。
- 开发者： Meta
- 参数数量： 提供了1B（十亿）和3B（三十亿）模型
- 输入/输出模态： 多语言文本
- 支持的语言： 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
- 模型发布日期： 2024年9月25日
- 许可协议： 依据 Llama 3.2 社区许可证（自定义商用许可证协议）
模型特性
Llama 3.2 的模型系列运用了分组查询注意力（GQA），以提升推理的扩展能力。此外，尽管官方仅支持八种语言，但开发者可依据许可证协议在安全和负责任的前提下，针对更多语言进行模型微调。
使用意图
Llama 3.2 主要面向商业和研究用途。其已调教的文本模型可用于类似助手的聊天及代理应用，例如知识检索、总结、移动 AI 写作助手以及查询重写等。通过预训练模型的适配，可以实现更多的自然语言生成任务。
不适用范围
任何违反适用法律或 Meta 使用政策的用途，以及在未被明确支持的语言中的应用，均被视为不当使用。
如何使用
该项目提供了两个版本，供使用 transformers 库和原始 llama 代码库进行应用。
使用 transformers
从 transformers >= 4.43.0 版本开始，可以用Transformers pipeline 抽象类或通过 generate() 函数及 Auto 类进行对话推理。
确保你通过以下命令更新你的 transformers 包：
pip install --upgrade transformers
然后，使用以下代码进行文本生成：
import torch
from transformers import pipeline
model_id = "meta-llama/Llama-3.2-3B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Tell me about the sea!"},
]
print(pipe(messages))
项目反馈
任何关于模型的意见和反馈可以通过相关平台进行提交，更多技术细节可参考 Llama 3.2 的 README 文档。
