访问官网
Github
Huggingface
文档项目概述
Llama-3.2-3B是由Meta公司开发的多语言大型语言模型(LLM)系列中的一员。这是一个专门针对多语言对话场景优化的指令调优模型，在常见的行业基准测试中表现出色，超越了许多开源和闭源的聊天模型。
技术特点
- 采用优化的transformer架构，使用自回归语言模型设计
- 通过监督微调(SFT)和基于人类反馈的强化学习(RLHF)进行训练
- 使用分组查询注意力(GQA)机制提升推理性能
- 支持包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语在内的多种语言
性能优势
通过Unsloth优化后，该模型具有显著的性能提升：
- 训练速度提升2.4倍
- 内存使用减少58%
- 可在Tesla T4显卡上免费运行和微调
应用场景
- 多语言对话系统
- 信息检索任务
- 文本摘要生成
- 可通过微调支持更多语言应用
使用许可
- 模型使用受Llama 3.2社区许可协议管理
- 允许商业使用
- 开发者可以在遵守许可协议和可接受使用政策的前提下进行模型微调
技术支持
- 提供完整的技术文档和使用说明
- 通过GitHub平台提供模型使用反馈
- 支持GGUF、vLLM等多种导出格式
- 提供面向初学者的交互式笔记本教程
发展状态
- 发布日期：2024年9月25日
- 当前版本为静态模型，基于离线数据集训练
- 未来版本将持续改进模型性能和安全性
- 开发团队持续提供技术支持和更新维护
实用工具
为方便用户使用，项目提供了多个实用工具：
- 会话模板笔记本用于ShareGPT ChatML/Vicuna模板
- 文本补全笔记本用于原始文本处理
- DPO笔记本用于复制Zephyr功能
