pretraining-with-human-feedback - 基于人类偏好预训练的语言模型代码库

项目介绍：基于人类偏好的语言模型预训练

项目概述

"基于人类偏好的语言模型预训练" 项目（简称PHF）致力于探索如何更好地利用人类反馈来预训练语言模型，以提升模型的表现。项目的代码库围绕Hugging Face Transformers的Trainer而构建，提供了五种基于人类反馈的预训练目标的实现。这些目标在该项目关联的论文中有详细讨论。项目代码库还包括了评估这些目标的回调和脚本。

核心功能

PHF目标通过为训练数据注释奖励来实现，并重写了Trainer.compute_loss方法，以这些奖励作为额外的训练信号。这些奖励是由apo.scorers.Scorer对象提供的，该对象可以判定某段文字是否符合非冒犯性等人类偏好要求。评分器也用于评估通过PHF训练得到的语言模型（LM）的样本。

项目高度依赖Hugging Face生态系统和wand用于监控和实验管理。

快速开始

为了开始使用此代码库，您需要Python 3.9以上版本。要在toxicity任务上运行最大似然估计（MLE）的训练脚本，您可以执行以下步骤：

pip install -r requirements.txt
wandb login  # 或者设置 `WANDB_API_KEY` 和 `WANDB_PROJECT` 环境变量
export OPENAI_API_KEY='sk-your_key'  # 评估时需要
python train.py --task configs/toxicity/pretrain.yml --method configs/toxicity/mle.yml

配置文件

train.py脚本需要两个配置文件的路径：一个用于任务，一个用于方法。任务的配置文件（例如toxicity、pii、pep8）存储于configs/{task}目录，如pretrain.yml（用于预训练实验）和 finetuning.yml（用于微调）。方法的配置文件则独立存放在相应的目录中。每对任务-方法配置文件包含了在实验中使用的超参数，并允许重现实验结果。

单个参数可以通过命令行使用override参数进行覆盖，例如：

python train.py --task configs/toxicity/pretrain.yml --method configs/toxicity/mle.yml --override training.per_device_train_batch_size=8

任务描述

该项目支持多个任务，每个任务都有不同的配置文件、训练数据和评分标准。任务包括：

Toxicity（冒犯性）：利用detoxify库进行评分，数据集为tomekkorbak/pile-detoxify。
PII（个人识别信息）：利用scrubadub库进行评分，数据集为tomekkorbak/pile-pii-scrubadub。
PEP8：使用pycodestyle进行评分，数据集为kejian/codeparrot-train-more-filter-3.3b-cleaned。

预训练目标

项目实现了六种基于人类反馈的训练目标，包括最大似然估计（MLE）、过滤、条件训练、不可能性、AWR和RWR。不同的目标需要不同的配置，这些信息均在代码库中进行了详细说明。

预训练模型

在实验中预训练的模型已发布在HuggingFace Hub上，每个训练目标和任务都有所对应的模型，例如：

对于Toxicity任务，使用MLE目标的模型为tomekkorbak/goofy_pasteur。
对于PEP8任务，使用AWR目标的模型为kejian/vigor-awr。

评估指标

在每次评估步骤中，apo.callbacks.GenerateAndScoreCallback会根据任务配置文件提供的GenerationScenario列表进行迭代。对于每个场景，生成num_samples个样本，并计算以下wandb指标：

score：生成样本的平均不对齐度
score_max@25：25个样本中最大值的平均分

除了对语言模型样本进行评分外，我们使用apo.callbacks.KLGPT3Callback来估计当前语言模型与GPT-3的KL散度。这需要从GPT-3中抽取样本，并在后续迭代中重用这些样本。

代码库结构

代码库结构清晰，包括了主要的回调、数据集包装、评分工具和目标类等模块，为研究和开发提供了良好的架构支持。

引用信息

如果您在研究中使用了该项目的数据或代码，请按照以下格式进行引用：

@misc{https://doi.org/10.48550/arxiv.2302.08582,
  doi = {10.48550/ARXIV.2302.08582},
  url = {https://arxiv.org/abs/2302.08582},
  author = {Korbak, Tomasz and Shi, Kejian and Chen, Angelica and Bhalerao, Rasika and Buckley, Christopher L. and Phang, Jason and Bowman, Samuel R. and Perez, Ethan},
  keywords = {Computation and Language (cs.CL), Machine Learning (cs.LG), FOS: Computer and information sciences, FOS: Computer and information sciences},
  title = {Pretraining Language Models with Human Preferences},
  publisher = {arXiv},  
  year = {2023},
  copyright = {Creative Commons Attribution 4.0 International}
}

通过这一项目，研究者们能够利用人类偏好更好地训练语言模型，期待这在人工智能对人类友好的发展中起到重要作用。