用于评估对齐的生成式评判器

这是用于评估对齐的生成式评判器的官方代码仓库。

新闻

• 2024年1月: 我们的论文已被ICLR 2024接收! 🎉
• 2023年12月: 我们发布了支持中英双语评估的Autoj-Bilingual-6B，以及其测试分数和原始训练和测试数据的中文翻译。你可以前往中英双语版本快速开始。
• 2023年10月: 我们发布了Auto-J的4位量化版本(使用GPTQ)。
• 2023年10月: 我们在Arxiv上发布了预印本论文，以及Auto-J的模型权重、训练数据和三个测试任务的数据，以及开发过程中的其他有用资源(场景定义、手写标准、场景分类器及其数据)。

目录

• 简介
• 排行榜
• 快速开始
  • 环境设置
  • 模型
  • 使用方法
• 数据
  • 训练数据
  • 三个任务的测试数据
• 其他资源
  • 场景：定义和标准
  • 场景分类器：模型和数据
• 引用
• 致谢

简介

我们开发了Auto-J，这是一个新的开源生成式评判器，可以有效评估不同大语言模型在多大程度上与人类偏好保持一致。它具有以下特点：

• 通用性: Auto-J在真实世界的用户查询和来自各种大语言模型的回复数据上进行训练，覆盖了58个真实世界场景。
• 灵活性: 通过切换相应的提示，Auto-J既支持成对回复比较，也支持单一回复评估。
• 可解释性: Auto-J提供详细的自然语言评论，增强了其评估结果的可靠性，并促进了人类参与评估过程。

排行榜

我们发布了成对回复比较和评论生成任务的基准测试结果作为排行榜。详见./codes/leaderboard/README.md。

对于成对比较任务，评估指标是与人类偏好的一致率和交换回复顺序后的一致性率（不适用于独立评分方法）。对于奖励模型，我们手动搜索0到2.0之间0.01间隔的最佳"平局"阈值。（我们略微修改了代码以从文本生成中提取判断，因此数值与论文中的略有不同。）

对于评论生成任务，评估指标是由GPT-4判断的对比参考模型（ChatGPT）生成的评论的胜率。

快速开始

环境设置

我们在本项目中使用python 3.10。建议你通过conda创建一个虚拟环境。

然后，我们需要安装requirements.txt中列出的所有库。注意，你可以根据你的CUDA版本选择合适的torch版本（我们在这个文件中写的是torch>=2.0.1+cu118）。

pip install -r requirements.txt

模型

Auto-J现已在huggingface-hub上可用：

• 对于无法直接访问 huggingface 的中国用户，我们提供了一个 modelscope 链接。

使用方法

我们的实现基于 vllm-project/vllm。完整示例可以在 codes/example.py 中找到。

步骤 1：导入必要的库

from vllm import LLM, SamplingParams
import torch
from constants_prompt import build_autoj_input # constants_prompt -> codes/constants_prompt.py

步骤 2：加载模型

num_gpus = torch.cuda.device_count()
model_name_or_dir = "GAIR/autoj-13b" # 或者下载模型的本地目录
llm = LLM(model=model_name_or_dir, tensor_parallel_size=num_gpus)

注意，由于 vllm 的具体实现和我们的模型设计，num_gpus 应该是 1, 2, 4, 8, 16, 32, 64 或 128。你可以通过 CUDA_VISIBLE_DEVISES 来控制，例如 CUDA_VISIBLE_DEVICES=0,1,2,3 python ...。

步骤 3：设置输入

你可以使用 build_autoj_input 函数为成对响应比较和单一响应评估构建输入。

input_pairwise = build_autoj_input(prompt="你的查询", 
               resp1 = "一个来自 LLM 的响应",  resp2 = "另一个来自 LLM 的响应", 
               protocol = "pairwise_tie") # 用于成对响应比较 
input_single   = build_autoj_input(prompt="你的查询", 
               resp1 = "一个来自 LLM 的响应", resp2=None, 
               protocol = "single") # 用于单一响应评估 
input_ = input_pairwise # 或 input_single

步骤 4：生成判断

sampling_params = SamplingParams(temperature=0.0, top_p=1.0, max_tokens=1024)
outputs = llm.generate(input_, sampling_params)
judgment = output[0].outputs[0].text
print(judgment)

我们还支持批量评估，这在实践中更加高效：

# 假设我们有多个 `input_pairwise`
inputs = [input_pairwise_1, ..., input_pairwise_n]
outputs = llm.generate(inputs, sampling_params)
judgments = [item.outputs[0].text for item in outputs]

（可选）步骤 5：提取结果

一旦生成了判断，我们可以通过启发式方法从中提取评估结果（比较结果或评分）：

def extract_pariwise_result(raw_output):
    raw_output = raw_output.strip()
    pos = raw_output.rfind('final decision is ')
    pred_label = -1
    if pos != -1:
        pred_rest = raw_output[pos + len('final decision is '):].strip().lower()
        if pred_rest.startswith('response 1'): pred_label = 0
        elif pred_rest.startswith('response 2'): pred_label = 1
        elif pred_rest.startswith('tie'): pred_label = 2
    return pred_label

def extract_single_rating(score_output):
	pred_score = 0.0
    if "Rating: [[" in score_output:
        pos = score_output.rfind("Rating: [[")
        pos2 = score_output.find("]]", pos)
        assert pos != -1 and pos2 != -1
        pred_score = float(score_output[pos + len("Rating: [["):pos2].strip())
    return pred_score

result = extract_pariwise_result(judgment) # 对于单一响应评估使用 `extract_single_rating` 

print(result)

4 位量化版本

我们还使用 AutoGPTQ 提供了 Auto-J 的 4 位量化版本，可在 huggingface-hub 上获取：https://huggingface.co/GAIR/autoj-13b-GPTQ-4bits。

• 对于无法直接访问 huggingface 的中国用户，我们提供了一个 modelscope 链接。

要使用 Auto-J 的 4 位版本，你需要安装以下包：

pip install safetensors
pip install transformers>=4.32.0 optimum>=1.12.0
pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/  # 如果使用 CUDA 11.7，请使用 cu117

然后你可以在 codes/usage/example_gptq4bits.py 中找到示例代码并使用它。

加载这个模型大约需要 8GB 显存。请注意，量化模型和原始模型的行为可能会有所不同。

中英双语版本

为满足中国用户的需求，我们还提供了 Auto-J 的 6B 双语版本。它在原始训练数据及其中文翻译上进行了训练。你可以在 codes/usage/example_bilingual.py 中找到双语评估实现的完整示例。 你可以按以下方式运行双语示例代码：

CUDA_VISIBLE_DEVICES=<GPU_ID>  python example_bilingual.py\	
 -- language "目标语言"

你需要将"目标语言"替换为"Chinese"或"English"。

请注意，尽管当前的双语 Auto-J 支持便捷灵活的双语评估，但我们发现了一些问题，如偶尔的代码切换（这意味着你可能会在中文评论中看到几个英文单词）以及数学和代码能力的弱点（例如基本的算术能力）。我们将继续改进 Auto-J 的性能。

数据

训练数据

我们在这里提供了用于训练 Auto-J 的数据，包括成对部分和单一响应部分。

我们的训练数据涵盖了广泛的真实场景，主要来自 lmsys/chatbot_arena_conversations · Datasets at Hugging Face（一个包含真实用户查询和已部署 LLM 响应的数据集）。

我们还提供了原始英文训练数据的中文翻译，使用 GPT-3.5-turbo-1106 作为翻译引擎。

数据构建流程概览如下（详情请参阅我们的论文）：

成对部分

训练数据的成对部分位于 data/training/pairwise_traindata.jsonl 和 data/training/zh_pairwise_traindata.jsonl，是 GPT-4 原始输出的重新格式化版本。它包含 3,436 个样本，每行是一个具有以下格式的 Python 字典：

{
	"usermsg": "你正在评估两个提交的响应...",
	"target_output": "1. 区分这两个响应的关键因素：...",
	"gt_label": 0/1/2,
	"pred_label": 0/1/2,
	"scenario": "language_polishing",
	"source_dataset": "chatbot_arena"
}

单一响应部分

训练数据的单一响应部分位于 data/training/single_traindata.jsonl 和 data/training/zh_single_traindata.jsonl，是对一个响应的两个独立评论的组合（在评估中有和没有场景标准作为参考）。它包含 960 个样本，每行是一个具有以下格式的 Python 字典：

{
	"usermsg": "对给定用户查询的一个提交响应进行评论，并给出评分...",
	"target_output": "这个响应提供了详细的... 评分：[[5]]",
	"pred_score": "5.0",
	"scenario": "planning",
	"source_dataset": "chatbot_arena"
}

独立评论 我们还在 data/training/single_independent/noscenario.jsonl（不含场景标准）和 data/training/single_independent/usescenario.jsonl（含场景标准）中发布了两个独立的评论（更多详情请参阅我们的论文）。这两个文件中的每一行看起来像这样：

{
	"output": "这个回答没有提供法国五日游的第五天行程计划...",
	"cost": 0.0473,
	"finish_reason": "stop",
	"meta":{
		"scenario": "planning",
		"protocol": "single",
		"prompt": "给我一个法国五日游的行程计划",
		"response": "当然，这里是一个可能的法国五日游行程计划...",
	}
}

三个任务的测试数据

我们发布了论文中介绍的三个元评估任务的测试数据。这些数据在 58 个真实场景中均衡分布，使其成为全面验证不同评估器能力的测试平台。

我们还提供了原始英文测试数据的中文翻译，使用 GPT-3.5-turbo-1106 作为翻译引擎。

成对回答比较

我们为成对回答比较任务收集了 $58\times24=1392$ 个样本（每个场景 24 对）。数据位于 data/test/testdata_pairwise.jsonl。该文件的每一行如下：

{
	"scenario": "seeking_advice":
	"label": 0,
	"prompt": "大学毕业后找工作的最佳策略是什么？",
	"response 1": "人际网络是找工作的最佳策略之一...",
	"response 2": "我是一家公司的软件程序，我可能有..."
}

评论生成

基于成对回答比较的数据，我们构建了评论生成任务的数据。具体来说，我们为每个场景从 24 个样本中抽取 4 个（总共 $58\times4=232$ 个样本），并选择较不受青睐的回答进行评论。我们还提供了 Auto-J 的评论。数据位于 data/test/testdata_critique.jsonl。该文件的每一行如下：

{
	"scenario":"writing_advertisement",
	"prompt":"产品名称：Flow GPT ...",
	"response":"注意：你是否厌倦了花费数小时起草电子邮件...",
	"critiques":{
		"autoj":"这个回答在尝试制作 AIDA 广告方面做得不错..."
	}
}

最佳 N 选择

基于评论生成任务的数据，我们构建了评论生成任务的数据。具体来说，我们为每个场景从 4 个查询中抽取 2 个（总共 $58\times2=116$ 个样本）。对于每个查询，我们使用基础模型通过均匀采样生成 32 个回答。

在我们的论文中，我们采用了两个基础模型，Vicuna-7B-v1.5 和 LLaMA-7B-chat，来生成这些回答。数据位于 data/test/testdata_selection.jsonl，我们还在这个文件中提供了 Auto-J 对每个回答的评分。该文件的每一行如下：

{
	"scenario":"planning",
	"prompt":"创建一个将戏剧融入历史课的教案...",
	"outputs":{
		"llama-2-7b-chat":{
			"outputs": ["当然，这里是一个教案...", "课程标题："鸦片战争...", ...],
			"logprobs": [-217.40, -226.61, -229.21, ...],
			"finish_reasons":["stop", "stop", ...],
			"id":70,
			"scores":{
				"autoj":[6.0, 6.0, 6.0, ...]
			}
		},
		"vicuna-7b-v1.5":{
			...
		}
	}
}

其他资源

场景

数据构建的一个主要部分是定义不同的场景，并为每个场景手写标准来指导评估。

定义

每个场景的定义可以在 other_resources/constants.py 中找到。

标准

我们为每个场景手动设计标准，以指导 GPT-4 生成更全面的判断。

这些标准可以在 other_resources/scenario_criteria/specials 中找到。一个场景的标准集被组织为一个 yaml 文件（以下是"planning"场景的标准），其中每个标准包括名称、描述、权重（已废弃）和类型（基础、内容、格式或风格）：

basic-writing:
  !include "./shared/configs/scenarios/basics/basic_writing.yaml"

extended:
  clarity:
    content: 书面计划应清晰概述事件或活动的目标、任务和时间线，确保读者能轻松理解提议的计划。
    weight: 5
    type: content
  feasibility:
    content: 书面计划应提出现实可行的步骤和行动，考虑可用资源、限制和后勤因素。
    weight: 4
    type: content
  creativity:
    content: 书面计划应在组织和执行事件或活动时展示创造性思维和创新理念，提供独特和吸引人的元素。
    weight: 3
    type: content
  thoroughness:
    content: 书面计划应涵盖事件或活动的所有必要方面和细节，如后勤、预算、推广和参与者参与度。
    weight: 3
    type: content
  structure:
    content: 书面计划应结构良好，具有逻辑流畅的思路，并为计划的不同组成部分明确定义章节或标题。
    weight: 4
    type: format
  layout:
    content: 鼓励书面计划使用标题、项目符号、列表、表格或其他设备来增强可读性和连贯性。
    weight: 5
    type: format

其中 basic-writing 是基本和通用的标准（可能被多个场景继承）：

import yaml
from yamlinclude import YamlIncludeConstructor
YamlIncludeConstructor.add_to_loader_class(loader_class=yaml.FullLoader)

def read_yaml(yaml_file_path):
    with open(yaml_file_path, 'r') as f:
        data = yaml.load(f, Loader=yaml.FullLoader)
    return data

yaml_content = read_yaml("./other_resources/scenario_criteria/specials/analyzing_general.yaml")

PROMPT_INPUT_FOR_SCENARIO_CLS: str = "Identify the scenario for the user's query, output 'default' if you are uncertain.\nQuery:\n{input}\nScenario:\n"

from vllm import LLM, SamplingParams
import torch

num_gpus = torch.cuda.device_count()
model_name_or_dir = "GAIR/autoj-scenario-classifier" # 或存储下载模型的本地目录
llm = LLM(model=model_name_or_dir, tensor_parallel_size=num_gpus)

query = "generate a function that returns an array of even values in the Fibonacci series."
input_ = PROMPT_INPUT_FOR_SCENARIO_CLS.format(input=query)

sampling_params = SamplingParams(temperature=0.0, top_p=1.0, max_tokens=30)
outputs = llm.generate(input_, sampling_params)
scenario = output[0].outputs[0].text

print(scenario) # 应该是 `code_generation`。

{
	"category": "writing_job_application", 
	"instruction": "Write me a cover letter to a Deloitte consulting firm ...", 
	"input": "" # 可能为空
}

@article{li2023generative,
  title={Generative Judge for Evaluating Alignment},
  author={Li, Junlong and Sun, Shichao and Yuan, Weizhe and Fan, Run-Ze and Zhao, Hai and Liu, Pengfei},
  journal={arXiv preprint arXiv:2310.05470},
  year={2023}
}