访问官网
Github
Huggingface
文档
论文Llama-2-7b-chat-hf项目介绍
Llama-2-7b-chat-hf是Meta公司开发的大型语言模型系列Llama 2中的一员。这个项目是针对对话场景进行了微调的7B参数模型,并且已经转换为Hugging Face Transformers格式。
模型概述
Llama-2-7b-chat-hf是一个具有70亿参数的生成式文本模型。它是Llama 2系列中参数规模最小的版本,但仍然具有强大的性能。这个模型经过了预训练和微调两个阶段:
- 预训练阶段使用了2万亿个token的公开可用在线数据
- 微调阶段使用了公开的指令数据集和超过100万个人工标注的新样本
该模型采用了优化的Transformer架构,并使用了监督微调(SFT)和基于人类反馈的强化学习(RLHF)来提高模型的有用性和安全性。
主要特点
- 针对对话场景进行了优化,可用于构建聊天机器人等应用
- 在大多数基准测试中优于其他开源聊天模型
- 在有用性和安全性方面,与一些流行的闭源模型(如ChatGPT)相当
- 使用4k的上下文长度
- 训练使用了3.0 x 10^-4的学习率
- 全局批量大小为400万个token
使用注意事项
- 该模型仅支持英语输入和输出
- 使用时需要遵循特定的格式,包括INST和<
>标签、BOS和EOS token等 - 不得用于违反适用法律法规的用途
- 使用需要遵守Meta的可接受使用政策和许可协议
评估结果
在常识推理、世界知识、阅读理解等多个学术基准测试中,Llama-2-7b模型都显示出了不错的性能。例如:
- 常识推理: 63.9分
- 世界知识: 48.9分
- 阅读理解: 61.3分
- MMLU: 45.3分
虽然其性能不及70B参数的大规模模型,但作为一个较小规模的模型,已经展现出了不错的能力。
开源与许可
Llama-2-7b-chat-hf模型以开源方式发布,但使用需要遵守Meta的自定义商业许可。研究人员和开发者可以申请访问权限来下载和使用模型权重。
总的来说,Llama-2-7b-chat-hf为构建高性能对话AI应用提供了一个强大而灵活的基础模型选择。
