访问官网
Github
Huggingface
论文Meta-Llama-3.1-405B-llamafile 项目介绍
项目背景
Meta-Llama-3.1-405B-llamafile 是由 Meta 公司于 2024 年 7 月 23 日发布的大型语言模型。这是目前最大的开放权重模型之一，并且具有极高的复杂性。该模型为基础版本，未经过微调，因此更适合技术探索者在原始形态下进行试验。Meta 还提供了一种更友好的调整版本，名为 Meta-Llama-3.1-405B-Instruct-llamafile。
模型特性
- 模型发布者: Meta
- 模型链接: meta-llama/Meta-Llama-3.1-405B
- 支持的语言: 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
- 模型架构: Auto-regressive 语言模型，采用优化的 Transformer 架构。
- 模型参数: 具有 4050 亿参数。
llamafile 格式
Mozilla 公司将 LLaMA 模型打包成可执行权重格式，称为 llamafile。这种格式方便用户在各种操作系统和硬件架构上运行模型，如 Linux、MacOS、Windows、FreeBSD、OpenBSD 和 NetBSD，无论是 AMD64 还是 ARM64 架构。
快速入门指南
要在桌面操作系统上运行该模型，需按照以下步骤进行：
-
下载需要的模型文件（由于上传限制，文件分为多个部分）：
wget https://huggingface.co/Mozilla/Meta-Llama-3.1-405B-llamafile/resolve/main/Meta-Llama-3.1-405B.Q2_K.cat0.llamafile wget https://huggingface.co/Mozilla/Meta-Llama-3.1-405B-llamafile/resolve/main/Meta-Llama-3.1-405B.Q2_K.cat1.llamafile wget https://huggingface.co/Mozilla/Meta-Llama-3.1-405B-llamafile/resolve/main/Meta-Llama-3.1-405B.Q2_K.cat2.llamafile wget https://huggingface.co/Mozilla/Meta-Llama-3.1-405B-llamafile/resolve/main/Meta-Llama-3.1-405B.Q2_K.cat3.llamafile -
将文件合并为一个完整的 llamafile：
cat Meta-Llama-3.1-405B.Q2_K.cat{0,1,2,3}.llamafile >Meta-Llama-3.1-405B.Q2_K.llamafile rm Meta-Llama-3.1-405B.Q2_K.cat*.llamafile chmod +x Meta-Llama-3.1-405B.Q2_K.llamafile ./Meta-Llama-3.1-405B.Q2_K.llamafile -
使用命令行提示模型进行文本生成：
./Meta-Llama-3.1-405B.Q2_K.llamafile -p 'four score and seven' --log-disable
模型性能与评估
Meta-Llama-3.1-405B 在多语言对话应用场景中表现出色。其优化实现包括监督微调（SFT）和基于人类反馈的强化学习（RLHF），以确保结果符合人类的需求和安全标准。
硬件和软件要求
为了运行该模型，应具备充足的内存和存储空间：
- 最小内存要求：150 GB
- 最小磁盘空间：400 GB
在 Windows 系统中，由于可执行文件大小的限制，可以通过将 model 作为 GGUF 权重引入。
环保与能效
该模型的训练耗费了大量的 GPU 计算资源，总计约 39.3M GPU 小时，并采用了 Meta 的自制 GPU 集群进行训练。尽管训练期间产生了一定的温室气体排放，Meta 已实现了其全球运营的温室气体净零排放，并使用可再生能源匹配了 100% 的电力需求。
使用指南
使用 transformers 4.43.0 及以上版本，可以利用 pipeline 接口进行文本生成。以下是示例代码：
import transformers
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B"
pipeline = transformers.pipeline(
"text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("Hey how are you doing today?")
总结
Meta-Llama-3.1-405B-llamafile 项目为广泛的研究和商业应用场景提供了强大的工具，支持多语言对话生成和模型优化。该项目的开放性和灵活性将推动自然语言处理领域的发展。
