访问官网
Github
Huggingface
文档Meta-Llama-3-70B-Instruct-GGUF项目介绍
项目概述
Meta-Llama-3-70B-Instruct-GGUF是基于Meta-Llama-3模型系列中的一个高参数量版本，由MaziyarPanahi进行量化和发布。这一项目旨在优化对话使用场景，为用户提供更加高效、安全的对话生成模型。该项目支持多种比特位的量化模型，进一步提高了模型推理的效率和应用的广泛性。
模型背景与开发细节
Meta是Meta Llama 3家族语言模型的开发者，这一模型家族包括经过预训练和指令调优的生成文本模型，提供了8B和70B两种参数规模选择。Llama 3模型旨在优化对话使用场景，其在许多行业基准上超越了其他开源聊天模型。此外，开发团队在设计过程中非常注重模型的帮助性和安全性。
Llama 3模型采用了自回归语言模型架构，利用优化的Transformer架构进行构建。调优版本通过监督微调（SFT）和人类反馈强化学习（RLHF）以更好地满足人类对帮助性和安全性的需求。
模型下载与加载
用户可以根据需求下载必要的量化文件，而无需克隆整个代码库。下载命令如下：
huggingface-cli download MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF --local-dir . --include '*Q2_K*gguf'
加载GGUF模型需要使用Llama-3提供的提示模板进行配置。
使用说明
该仓库包含两种版本的Meta-Llama-3-70B-Instruct，分别用于Transformers和原始的llama3代码库。对于Transformers用户，可以使用以下Python代码进行文本生成：
import transformers
import torch
model_id = "meta-llama/Meta-Llama-3-70B-Instruct"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "Who are you?"},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
模型的潜在用途
Llama 3模型适用于商业和研究用途，特别是英文指令调优模型适用于如同助手般的聊天场景，而预训练模型可适应多种自然语言生成任务。开发者可以根据Llama 3社区许可协议和可接受使用政策，针对英语以外的语言进行模型微调。
硬件和软件支持
在硬件方面，Meta使用了定制的训练库、Meta的研究超级集群以及生产集群进行预训练。此外，微调、注释和评估也在第三方云计算平台上进行。值得注意的是，培训过程中产生的CO2排放已通过Meta的可持续发展计划实现了100%的抵消。
训练数据与测试基准
Llama 3使用超过15万亿个标记的数据进行预训练，数据来源于公共可用的网络数据。微调数据包括公开可用的指令数据集和超过1000万个人工注释示例。所有训练数据均不包括Meta用户数据。
在标准自动化基准测试中，Llama 3在多个指标上表现出色，比如在常识推理、阅读理解和数学等方面都优于Llama 2。
责任与安全
Meta致力于负责任的AI开发，采取了一系列措施以限制误用与潜在危害，并支持开源社区。通过更新责任使用指南，提供类似于Meta Llama Guard 2和Code Shield的保护措施工具，帮助开发者根据需要优化和部署。
发布和使用政策
使用Llama 3模型的用户需遵循接受使用政策，以确保模型的使用合规且符合伦理标准。对于高风险领域如化学和生物武器的潜在应用，Meta进行了严格的安全评估，甚至包括外部专家的协助。
总的来说，Meta-Llama-3-70B-Instruct-GGUF项目是一个高度优化且负责的AI生成工具，为对话场景提供了优质的解决方案，并始终保持对安全性和合规性的高度重视。
