Llama-2-7b-hf项目介绍
Llama-2-7b-hf是Meta(原Facebook)开发并公开发布的大型语言模型家族Llama 2中的一员。这个项目是Llama 2系列中参数规模为70亿的预训练模型,经过转换后适配了Hugging Face Transformers格式。
模型概述
Llama 2是一个包含了从70亿到700亿参数不等的预训练和微调生成式文本模型集合。其中Llama-2-7b-hf是参数规模为70亿的预训练版本。这个模型采用了优化过的Transformer架构,是一个自回归语言模型。
主要特点
- 参数规模:70亿
- 上下文长度:4096 tokens
- 训练数据:2万亿tokens的公开在线数据
- 训练时间:2023年1月至7月
- 输入输出:仅支持文本
- 用途:可用于各种自然语言生成任务
- 开源协议:Meta自定义商业许可
性能表现
在常识推理、世界知识、阅读理解等多项学术基准测试中,Llama-2-7b相比Llama 1的7B版本都有明显提升。例如在MMLU基准上,Llama-2-7b的得分为45.3,而Llama 1的7B版本仅为35.1。
使用注意事项
- 仅支持英语
- 需遵守Meta的可接受使用政策
- 商业使用需获得Meta的许可
- 不应用于违法或有害用途
- 使用时应披露AI系统的潜在风险
获取方式
用户需要先在Meta的官方网站接受许可协议,然后才能在Hugging Face上请求访问模型权重和分词器。Meta鼓励社区反馈,以不断改进模型的安全性。
总的来说,Llama-2-7b-hf是一个强大的开源大型语言模型,为自然语言处理研究和应用提供了新的可能。