Github
Huggingface
论文Llama 3 项目介绍
项目背景
Llama 3 是由 Meta 开发和发布的一系列大型语言模型（LLM），包括 8B 和 70B 参数的版本。这些模型经过预训练和指令微调，主要优化用于对话场景，并在业内常见的基准测试中表现优异。模型开发过程中特别注重其帮助性和安全性，以确保其在使用中的可靠性。
模型概况
- 开发者: Meta
- 版本: Llama 3 提供了两种不同的参数规模：8B（8十亿参数）和 70B（70十亿参数）。
- 输入输出: 模型仅接受文本输入，输出文本和代码。
- 模型架构: Llama 3 是自回归语言模型，使用优化的变换器架构，经过监督微调（SFT）和人类反馈的强化学习（RLHF）来调整帮助性和安全性。
- 训练数据: 使用了新的公开在线数据组合进行训练，8B 模型的知识截止日期为 2023 年 3 月。
- 发布日期: 2024 年 4 月 18 日
使用案例
Llama 3 主要用于商业和研究用途，支持以英语进行自然语言生成任务。其中指令微调版本特别适合用作助手型聊天模型，而经过预训练的模型可适应多种自然语言生成任务。尽管模型主要用于英语，开发者在遵循社区许可和可接受使用政策的前提下，可以对模型进行其他语言的微调。
使用方法
Llama 3 提供了与 transformers 代码库集成的支持，用户可以通过简单的代码示例使用 transformers 管道进行会话推理。以下是基本使用方法的 Python 代码示例：
import transformers
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
device_map="auto",
)
messages = [
{"role": "system", "content": "你是一个总是用海盗说话的聊天机器人！"},
{"role": "user", "content": "你是谁？"},
]
outputs = pipeline(messages, max_new_tokens=256)
print(outputs[0]["generated_text"][-1])
责任与安全
Meta 承诺负责任的 AI 开发，并采取了一系列措施来限制误用和减少风险。随着 Llama 3 的发布，Meta 更新了负责任使用指南，为开发者提供了实现模型和系统级别安全性的步骤和最佳实践。此外，Meta 还提供了一系列工具以大大降低大型语言模型系统的剩余风险。
训练与评估
Llama 3 的训练涉及大量的计算资源和环境影响。Meta 的可持续发展计划抵消了训练过程中产生的所有二氧化碳排放。模型在标准自动化基准上表现出色，尤其是在对话和安全性方面显著优于之前的版本。
总结
Llama 3 代表着Meta 在人工智能领域的最新进展，提供了更安全、更高效的语言生成能力。通过其在对话应用中的优化性能和负责任的开发方法，Llama 3 被设计为满足广泛的商业和研究需求，同时确保使用的可靠性和创新性。
