访问官网
Github
Huggingface
文档
论文OPT-1.3b项目介绍
项目概述
OPT-1.3b是Meta AI开发的开放预训练Transformer语言模型系列中的一员。OPT系列模型旨在为研究人员提供一套可以完全访问和负责任使用的大规模语言模型,参数规模从1.25亿到1750亿不等。OPT-1.3b作为其中的一个中等规模模型,具有13亿参数。
模型特点
- 采用因果语言建模(CLM)目标进行预训练
- 主要使用英语文本训练,但也包含少量非英语数据
- 属于仅解码器模型家族,与GPT-3属于同一类型
- 在评估时采用与GPT-3相似的提示和实验设置
应用场景
OPT-1.3b可用于以下场景:
- 文本生成:可直接用于生成连贯的文本序列
- 下游任务评估:通过提示的方式评估模型在特定任务上的性能
- 微调:可在下游任务上进行进一步微调,以适应特定应用
使用方法
使用Transformers库可以方便地调用OPT-1.3b模型:
from transformers import pipeline
generator = pipeline('text-generation', model="facebook/opt-1.3b")
generator("What are we having for dinner?")
局限性
OPT-1.3b存在一些局限性:
- 偏见:由于训练数据包含大量未经过滤的互联网内容,模型输出可能存在偏见
- 安全性:可能产生有害或有毒的内容
- 幻觉:在某些情况下可能产生虚构或不准确的信息
训练数据
OPT-1.3b的训练语料来自多个来源,包括:
- BookCorpus
- CC-Stories
- The Pile的部分数据集
- Pushshift.io Reddit数据集
- CCNewsV2
最终训练数据包含1800亿个标记,相当于800GB的数据。
训练过程
- 使用GPT2的字节级BPE分词器,词汇表大小为50272
- 输入序列长度为2048个连续标记
- 在992个80GB A100 GPU上训练约33天
OPT-1.3b的开放为更多研究人员提供了研究和改进大规模语言模型的机会,有望推动自然语言处理领域的进一步发展。
