访问官网
Github
Huggingface
文档
论文Meta-Llama-3.1-8B-Instruct项目介绍
Meta-Llama-3.1-8B-Instruct是Meta公司开发的一个多语言大型语言模型(LLM),属于Llama 3.1系列模型中的8B参数规模版本。该模型在多语言对话场景下进行了优化,在常见的行业基准测试中表现优异。
模型概况
- 开发者:Meta公司
- 模型架构:采用优化的Transformer架构,是一个自回归语言模型
- 参数规模:8B
- 训练数据:全新混合的公开在线数据
- 输入模态:多语言文本
- 输出模态:多语言文本和代码
- 上下文长度:128k
- 训练token数:15T+
- 知识截止日期:2023年12月
- 支持语言:英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
- 发布日期:2024年7月23日
- 许可证:Llama 3.1社区许可证
主要特点
-
多语言能力强:支持8种语言的文本输入输出
-
大规模预训练:使用了超过15万亿个token进行预训练
-
长上下文:支持128k token的上下文长度
-
指令微调:针对对话场景进行了监督微调和人类反馈强化学习
-
代码能力:除了文本外,还可以生成代码
-
开放使用:提供自定义商业许可,允许商业和研究使用
应用场景
Meta-Llama-3.1-8B-Instruct主要适用于以下场景:
- 多语言对话系统和聊天机器人
- 自然语言生成任务
- 代码生成和编程辅助
- 文本分析和理解
- 问答系统
- 内容创作辅助
该模型还可以用于改进其他模型,如合成数据生成和知识蒸馏等。
使用方法
可以通过Hugging Face Transformers库或Meta原始的llama代码库来使用该模型:
- 使用Transformers:
import transformers
import torch
pipeline = transformers.pipeline(
"text-generation",
model="meta-llama/Meta-Llama-3.1-8B-Instruct",
model_kwargs={"torch_dtype": torch.bfloat16},
device_map="auto",
)
messages = [
{"role": "user", "content": "你好,请介绍一下你自己。"},
]
outputs = pipeline(
messages,
max_new_tokens=256,
)
print(outputs[0]["generated_text"])
- 使用原始llama代码库:
按照官方仓库说明下载和使用模型权重。
训练细节
- 训练基础设施:Meta自建GPU集群和生产基础设施
- 训练时长:累计39.3M GPU小时(H100-80GB)
- 训练能耗:每GPU设备峰值功率700W
- 温室气体排放:位置相关排放11,390吨CO2当量,市场相关排放0吨
使用注意事项
- 遵守适用法律法规和可接受使用政策
- 不得用于非法、欺骗或有害目的
- 对模型输出进行适当监督和过滤
- 向最终用户披露AI系统相关信息
- 在支持的8种语言之外使用时,需确保安全负责
总之,Meta-Llama-3.1-8B-Instruct是一个功能强大的多语言大模型,在商业和研究领域都有广阔的应用前景。使用时请遵守相关规定,发挥其强大能力,推动AI技术的发展与应用。
