访问官网
Github
Huggingface
文档Llama-3.1-405B-Instruct项目介绍
项目概述
Llama-3.1-405B-Instruct是Meta公司开发的一个大型多语言语言模型,属于Llama 3.1系列模型中参数量最大的版本。该模型于2024年7月23日发布,是一个经过指令微调的文本生成模型,专门针对多语言对话场景进行了优化。
模型特点
- 模型规模:4050亿参数
- 支持语言:英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
- 训练数据:超过15万亿token的公开在线数据
- 知识截止:2023年12月
- 上下文长度:128k tokens
- 采用分组查询注意力(GQA)机制,提高推理效率
- 输入模态:多语言文本
- 输出模态:多语言文本和代码
技术细节
Llama-3.1-405B-Instruct采用优化后的Transformer架构,是一个自回归语言模型。它使用了监督微调(SFT)和基于人类反馈的强化学习(RLHF)技术,以提高模型的有用性和安全性。训练过程累计使用了3084万GPU小时的计算资源,在H100-80GB GPU上进行。
应用场景
该模型主要intended用于商业和研究领域的多语言应用,特别适合于:
- 助手式聊天对话
- 多种自然语言生成任务
- 用于改进其他模型,如合成数据生成和知识蒸馏
使用限制
使用该模型时需要遵守Llama 3.1社区许可协议和可接受使用政策。不得将其用于违法或有害目的,如:
- 从事、促进或鼓励非法活动
- 骚扰、歧视或欺骗他人
- 生成有害或危险的内容
- 侵犯他人知识产权
环境影响
模型训练产生了11,390吨二氧化碳当量的温室气体排放。但由于Meta公司使用100%可再生能源,实际市场化排放量为0。
获取与反馈
开发者可以通过Meta提供的GitHub仓库获取模型和使用说明。如发现问题或有改进建议,可通过官方渠道提交反馈。Meta承诺将持续改进模型的安全性和性能。
总的来说,Llama-3.1-405B-Instruct是一个功能强大的多语言AI模型,在遵守使用规范的前提下,可为多种语言处理任务提供优秀的性能。
