基于ONNX运行的Llama 2

这是Meta根据Llama社区许可协议提供的Llama 2模型的优化版本。在遵守Llama社区许可协议的条件和免责声明的前提下，微软允许您使用、修改、重新分发和创建该优化版本的衍生作品。

开始之前

本仓库中包含ONNX文件的子模块是受访问控制的。要获得Llama 2模型的访问权限，请填写Llama 2 ONNX注册页面。如果允许,您将在接下来的48小时内获得GitHub访问权限,通常会更快。

克隆本仓库及其子模块

在开始之前,请确保您已安装Git LFS。Git LFS(大文件存储)用于高效地处理大文件。您可以在https://git-lfs.com/上找到如何为您的操作系统安装Git LFS的说明。

接下来,您可以选择要使用的Llama 2模型版本,并选择相应的子模块。

可选择以下子模块:

7B_FT_float16
7B_FT_float32
7B_float16
7B_float32
13B_FT_float16
13B_FT_float32
13B_float16
13B_float32

git clone https://github.com/microsoft/Llama-2-Onnx.git
cd Llama-2-Onnx
git submodule init <chosen_submodule> 
git submodule update

您可以使用不同的子模块名称重复初始化命令,以初始化多个子模块。请小心,包含的文件非常大!(7B Float16模型约为10GB)

什么是Llama 2?

Llama 2是一系列预训练和微调的生成式文本模型。要了解更多关于Llama 2的信息,请查看Llama 2模型卡片。

Llama 2的结构是什么?

Llama 2模型由一堆解码器层组成。每个解码器层(或transformer块)由一个自注意力层和一个前馈多层感知器构成。与经典transformer不同,Llama模型在前馈层中使用不同的投影大小,例如Llama 1和Llama 2的投影都使用2.7倍的隐藏层大小,而不是标准的4倍隐藏层大小。Llama 2相比Llama 1的一个关键区别是注意力层的架构变化,Llama 2采用了分组查询注意力(GQA)机制来提高效率。

Llama 2模型

常见问题解答

是否有简单的代码示例来运行基于ONNX的Llama 2?

本仓库提供了两个示例。Llama-2-Onnx/MinimumExample中提供了一个最小工作示例。这只是一个命令行程序,将使用所选版本的Llama 2完成一些文本。

给定以下输入:

python MinimumExample/Example_ONNX_LlamaV2.py --onnx_file 7B_FT_float16/ONNX/LlamaV2_7B_FT_float16.onnx --embedding_file 7B_FT_float16/embeddings.pth --tokenizer_path tokenizer.model --prompt "What is the lightest element?"

输出:

The lightest element is hydrogen. Hydrogen is the lightest element on the periodic table, with an atomic mass of 1.00794 u (unified atomic mass units).