Llama模型

Llama是一个开放可访问的大型语言模型（LLM），专为开发者、研究人员和企业设计，用于构建、实验和负责任地扩展他们的生成式AI创意。作为基础系统的一部分，它为全球社区的创新奠定了基石。以下是几个关键方面：

开放访问：易于访问最先进的大型语言模型，促进开发者、研究人员和组织之间的合作与进步
广泛生态系统：Llama模型已被下载数亿次，有数千个基于Llama构建的社区项目，从云提供商到初创公司的平台支持广泛 - 全世界都在使用Llama进行构建！
信任与安全：Llama模型是全面信任和安全方法的一部分，发布的模型和工具旨在促进社区协作，并鼓励生成式AI的信任和安全工具的开发和使用标准化

我们的使命是通过这个机会赋予个人和行业力量，同时培养一个探索和道德AI发展的环境。模型权重授权给研究人员和商业实体使用，坚持开放原则。

Llama模型

模型	发布日期	模型大小	上下文长度	分词器	可接受使用政策	许可证	模型卡片
Llama 2	2023年7月18日	7B, 13B, 70B	4K	Sentencepiece	使用政策	许可证	模型卡片
Llama 3	2024年4月18日	8B, 70B	8K	基于TikToken	使用政策	许可证	模型卡片
Llama 3.1	2024年7月23日	8B, 70B, 405B	128K	基于TikToken	使用政策	许可证	模型卡片

下载

要下载模型权重和分词器，请访问Meta Llama网站并接受我们的许可证。

一旦您的请求被批准，您将通过电子邮件收到一个签名URL。然后，运行download.sh脚本，在提示时输入提供的URL以开始下载。

前提条件：确保您已安装wget和md5sum。然后运行脚本：./download.sh。./download.sh可以在相应的models目录中找到。

请记住，链接会在24小时后或一定数量的下载后过期。如果您开始看到诸如403: Forbidden之类的错误，您可以随时重新请求链接。

访问Hugging Face

我们还在Hugging Face上提供下载，包括transformers和原生llama3格式。要从Hugging Face下载权重，请按以下步骤操作：

访问其中一个仓库，例如meta-llama/Meta-Llama-3.1-8B-Instruct。
阅读并接受许可证。一旦您的请求被批准，您将获得所有Llama 3.1模型以及之前版本的访问权限。请注意，请求处理可能需要长达一小时的时间。
要下载原始原生权重以在此仓库中使用，请点击"Files and versions"标签，下载original文件夹的内容。如果您pip install huggingface-hub，也可以从命令行下载：

huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct

注意 meta-llama/Meta-Llama-3.1-405B的原始原生权重将无法通过此HuggingFace仓库获得。

要与transformers一起使用，以下pipeline片段将下载并缓存权重：

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"

pipeline = transformers.pipeline(
  "text-generation",
  model="meta-llama/Meta-Llama-3.1-8B-Instruct",
  model_kwargs={"torch_dtype": torch.bfloat16},
  device="cuda",
)