pythia-160m-deduped - 基于Pile数据集训练的160M参数语言模型

Pythia-160M-deduped项目介绍

项目背景

Pythia-160M-deduped是EleutherAI开发的Pythia Scaling Suite系列模型之一。Pythia Scaling Suite是一个专门为促进可解释性研究而开发的模型集合。该系列包含了两组八种不同规模的模型,分别是70M、160M、410M、1B、1.4B、2.8B、6.9B和12B参数量。对于每种规模,都有两个版本的模型:一个在原始Pile数据集上训练,另一个在全局去重后的Pile数据集上训练。

模型特点

Pythia-160M-deduped模型具有以下特点:

基于Transformer架构的语言模型
参数量为162,322,944,其中非嵌入层参数为85,056,000
12层网络结构,768维模型维度,12个注意力头
在全局去重后的Pile数据集上训练
训练批次大小为2M tokens
学习率为6.0 x 10^-4
与GPT-Neo 125M和OPT-125M具有相同的架构

使用场景

Pythia-160M-deduped的主要用途是研究大型语言模型的行为、功能和局限性。它提供了一个受控的环境来进行科学实验。此外,研究人员还可以访问该模型的154个中间检查点,以研究模型在训练过程中的变化。

该模型也可以进行进一步的微调和适应,用于部署,只要符合Apache 2.0许可证的规定。但需要注意的是,该模型并不适合直接用于人机交互等生产环境。

局限性

使用Pythia-160M-deduped时需要注意以下局限性:

该模型仅支持英语,不适用于翻译或生成其他语言的文本
模型可能会生成有害或冒犯性的文本
模型输出的事实准确性不能保证
模型可能存在性别、宗教和种族方面的偏见

快速使用

研究人员可以通过Hugging Face Transformers库轻松加载和使用Pythia-160M-deduped模型。代码示例如下:

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained(
  "EleutherAI/pythia-160m-deduped",
  revision="step143000",
  cache_dir="./pythia-160m-deduped/step143000",
)

tokenizer = AutoTokenizer.from_pretrained(
  "EleutherAI/pythia-160m-deduped",
  revision="step143000",
  cache_dir="./pythia-160m-deduped/step143000",
)

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
output = tokenizer.decode(tokens[0])
print(output)

通过这种方式,研究人员可以快速开始使用Pythia-160M-deduped模型进行各种语言模型相关的研究和实验。