ChatEval - 使用多智能体辩论改进大语言模型评估

ChatEval：通过多智能体辩论实现更好的基于LLM的评估者

ChatEval旨在简化对生成文本的人工评估过程。当给出不同的文本片段时，ChatEval中的角色（由LLM扮演）可以自主辩论细微差异和差距，根据他们被分配的角色特征，并随后给出他们的判断。了解其工作流程和功能对于最佳使用至关重要。首先，请观看我们的视频演示以了解它是如何工作的！

better_compare

🎥 简单视频演示

我们的视频演示展示了用户如何使用ChatEval比较两个不同的生成文本。虽然FastChat聊天机器人竞技场允许用户手动投票选择更好的回答，但我们利用多个LLM自主确定哪个回答更出色。在辩论过程中，您可以观察到一个透明的程序，展示我们的LLM裁判如何根据他们不同的分配特征评估每个答案。

使用选择下拉菜单选择您想比较的两个模型。
耐心等待模型制作他们的回答。
现在是LLM裁判选择更好回答的时候了！首先点击"重置"按钮，然后点击"评判"按钮。

https://github.com/chanchimin/ChatEval/assets/75533759/35834dfd-5472-482a-905f-44b92708c90b

我们衷心感谢FastChat提供的出色框架。我们的演示是在他们提供的基础上构建的。

如果您想运行上述竞技场风格的演示，首先确保您按照安装中所述正确安装了FastChat，然后按照以下步骤操作：

进入项目下的FastChat文件夹

cd ChatEval/FastChat

启动用于协调网络服务器和模型工作者的控制器

python3 -m fastchat.serve.controller

向单个控制器注册多个模型工作者

# 工作者 0
CUDA_VISIBLE_DEVICES=0 python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.3 --controller http://localhost:21001 --port 31000 --worker http://localhost:31000
# 工作者 1
CUDA_VISIBLE_DEVICES=1 python3 -m fastchat.serve.model_worker --model-path lmsys/fastchat-t5-3b-v1.0 --controller http://localhost:21001 --port 31001 --worker http://localhost:31001

运行gradio服务器，它集成了聊天机器人和我们的裁判团队

python3 -m fastchat.serve.gradio_web_server_multi

现在，您可以打开浏览器与模型聊天，然后从自主裁判团队获得判断。

🚀 开始使用

安装

首先，克隆我们最新的仓库

git clone https://github.com/chanchimin/ChatEval.git
cd ChatEval
pip install -r requirements.txt

我们基本上使用OpenAI的API来调用我们的LLM，所以在运行代码之前，您还需要按以下方式导出您的OpenAI密钥

使用环境变量：

export OPENAI_API_KEY="your_api_key_here"

或者，直接在Python文件中指定：

import os
os.environ["OPENAI_API_KEY"] = "your_api_key_here"

如果您希望运行我们的竞技场风格演示，您需要按照以下步骤安装FastChat：

cd ChatEval/FastChat
pip3 install --upgrade pip  # 启用PEP 660支持
pip3 install -e ".[model_worker,webui]"

准备数据集

我们在agentverse/tasks/llm_eval/data/faireval/preprocessed_data/test.json中提供了数据示例。

您的自定义数据应该如下所示：

[
    {
        "question_id": 1,
        "question": "什么是影响消费者行为的主要因素？",
        "response": {
            "gpt35": "影响消费者行为的主要因素有几个，包括：\n\n1. 个人因素 - 这包括年龄、性别、收入、教育、个性和生活方式等个人特征。\n\n2. 心理因素 - 这包括消费者对产品或服务的感知、动机、态度、信念和价值观。\n\n3. 社会因素 - 这包括消费者的家庭、朋友、社会阶层、文化和参照群体。\n\n4. 情境因素 - 这包括消费者的物理环境、时间和心情。\n\n5. 营销组合因素 - 这包括产品、价格、促销和分销，以及它们如何影响消费者的决策过程。",
            "vicuna": "影响消费者行为的主要因素有几个，包括：\n\n1. 个人因素：这包括年龄、性别、教育、收入、个性和价值观等个人特征。\n2. 心理因素：这包括情感、认知和感知因素，它们可以影响消费者如何看待和处理有关产品和服务的信息。\n3. 社会因素：这包括文化、社会和环境因素，它们可以影响消费者如何看待和使用产品和服务。\n4. 经济因素：这包括产品或服务的价格、替代产品或服务的可用性以及消费者的购买力等因素。\n5. 营销因素：这包括产品或服务的营销方式，包括广告、包装和分销。\n6. 产品和服务因素：这包括产品或服务的质量、特性和优势，以及其设计、性能和保修。\n\n理解这些因素可以帮助企业和组织制定有效的营销策略，并调整他们的产品和服务以满足目标受众的需求和偏好。"
        }
    }
]

您提供的问题和回答将被整合到提示模板中，我们的裁判团队使用这个模板来评估和确定更优秀的回答。

配置自定义辩论代理

您应该在agentverse/tasks文件夹中修改您自定义设计的代理。以agentverse/tasks/llm_eval/multi_role/only_static_assign/faireval/two_turns_sequential/two_different_role/calc_score_comparison/gpt_35_0301/config.yaml为例，您的代理配置在config.yaml中应该如下所示：

# config.yaml
agents:
  -
    agent_type: llm_eval_multi  # 这应该是./agentverse/agents/中的一种类型
    name: Critic  # 为您的代理命名
    final_prompt_to_use: |-   # 这用于控制代理在最后一轮的行为。
      请首先提供一个全面的评估解释，避免任何潜在的偏见，并确保回答呈现的顺序不会影响您的判断。
      然后，输出两行分别表示助手1和助手2的得分。
请记住，您无需输出与其他评判者相同的值！
严格按照以下格式输出：
评估依据：[在此处写入您的解释]
助手1的得分：[仅填写分数]
助手2的得分：[仅填写分数]

role_description: |-    # 给予您的代理其个性
  您现在是...您喜欢...您

memory:
  memory_type: 聊天历史

memory_manipulator:
  memory_manipulator_type: 基本

prompt_template: 您的提示模板  # 用您的自定义提示模板替换

llm:
  model: "gpt-3.5-turbo-0301"
  llm_type: gpt-3.5-turbo-0301
  temperature: 0
  max_tokens: 512

### 运行脚本

现在，您可以开始运行实验了。
首先尝试以下命令行，它采用论文中的**一对一通信**和**2个代理角色**进行**2轮讨论**。
```shell
bash scripts/llm_eval/multi_role/only_static_assign/faireval/two_turns_sequential/two_different_role/calc_score_comparison/gpt_35_0301.sh

检查评估结果

评估结果将保存在llm_eval.py中指定的args.output_dir中结果将如下所示

[
    {
        "question": "什么是影响消费者行为的主要因素？",
        "response": {
            "gpt35": "影响消费者行为的主要因素有以下几个：\n\n1. 个人因素 - 包括年龄、性别、收入、教育、个性和生活方式等个人特征。\n\n2. 心理因素 - 包括消费者对产品或服务的感知、动机、态度、信念和价值观。\n\n3. 社会因素 - 包括消费者的家庭、朋友、社会阶层、文化和参照群体。\n\n4. 情境因素 - 包括消费者的物理环境、时间和心情。\n\n5. 营销组合因素 - 包括产品、价格、促销和分销，以及它们如何影响消费者的决策过程。",
            "vicuna": "影响消费者行为的主要因素包括：\n\n1. 个人因素：包括年龄、性别、教育、收入、个性和价值观等个人特征。\n2. 心理因素：包括情感、认知和感知因素，这些因素可以影响消费者如何看待和处理有关产品和服务的信息。\n3. 社会因素：包括文化、社会和环境因素，可以影响消费者如何看待和使用产品和服务。\n4. 经济因素：包括产品或服务的价格、替代品的可用性以及消费者的购买力。\n5. 营销因素：包括产品或服务的营销方式，如广告、包装和分销。\n6. 产品和服务因素：包括产品或服务的质量、特征和优势，以及其设计、性能和保修。\n\n理解这些因素可以帮助企业和组织制定有效的营销策略，并调整其产品和服务以满足目标受众的需求和偏好。"
        },
        "evaluation": [
            {
                "role": "普通大众",
                "evaluation": "评估依据：助手1和助手2都提供了关于影响消费者行为的主要因素的全面且相关的信息。助手1的回答更加简洁易读，同时仍然涵盖了所有必要的因素。助手2提供了更多关于经济因素以及产品和服务因素的详细信息，这对企业制定有效的营销策略可能有帮助。然而，助手2的回答略长，可能会让一些读者感到overwhelmed。\n\n助手1的得分：8\n助手2的得分：9"
            },
            {
                "role": "评论家",
                "evaluation": "评估依据：助手1和助手2都提供了关于影响消费者行为的主要因素的全面且相关的信息。尽管助手2更深入地探讨了经济因素以及产品和服务因素，为企业制定营销策略提供了有价值的见解，但回答略显冗长，可能会让一些读者感到困扰。\n\n助手1的得分：8\n助手2的得分：8"
            }
        ]
    }
]

引用

如果您觉得这个仓库有帮助，欢迎引用我们的工作。

@misc{chan2023chateval,
      title={ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate}, 
      author={Chi-Min Chan and Weize Chen and Yusheng Su and Jianxuan Yu and Wei Xue and Shanghang Zhang and Jie Fu and Zhiyuan Liu},
      year={2023},
      eprint={2308.07201},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}