Github
Huggingface
文档
论文OPT-66B项目概述
OPT(Open Pre-trained Transformer Language Models)是由Meta AI团队于2022年5月发布的开放预训练变压器语言模型。这是一个规模庞大的语言模型项目,其参数量达到了660亿。该项目旨在为研究人员提供一个可以完全访问和研究的大规模语言模型。
技术特点
OPT-66B采用了仅解码器(decoder-only)架构,这与GPT-3使用相同的技术路线。模型主要使用英语文本进行预训练,通过因果语言建模(CLM)目标完成训练。它可以执行文本生成和各种下游任务的提示评估。
训练数据
模型的训练数据来源广泛,包括:
- BookCorpus(超过1万本未出版图书)
- CC-Stories(CommonCrawl数据的故事类子集)
- The Pile(包含多个开放数据集)
- Pushshift.io Reddit数据集
- CCNewsV2(CommonCrawl新闻数据集的英文部分)
总计训练数据达到了800GB,包含1800亿个标记(tokens)。
使用方法
模型支持两种主要使用方式:
- 直接进行文本生成和任务评估
- 在下游任务上进行微调
为了优化性能,建议使用半精度(float16)加载模型,并直接调用generate方法进行文本生成。
局限性
该模型存在一些典型的大语言模型局限:
- 由于训练数据包含大量未经过滤的互联网内容,模型可能存在偏见
- 在生成时可能出现内容多样性不足的问题
- 可能产生虚假或不准确的信息
- 对某些社会群体可能存在刻板印象
技术实现
模型使用GPT2字节级的BPE编码方法处理文本,词汇表大小为50,272。输入序列长度为2,048个连续标记。训练过程使用了992个80GB的A100 GPU,持续训练约33天。
项目意义
OPT-66B的开放性为研究人员提供了研究大规模语言模型的机会,有助于推动自然语言处理领域的发展。它的发布使更多研究者能够参与探讨大语言模型中的偏见、安全性等重要议题。
