prometheus-7b-v2.0 - 用于语言模型评估的开源工具与反馈优化

prometheus-7b-v2.0项目介绍

项目背景

prometheus-7b-v2.0项目是一种语言模型，旨在通过细粒度评估的方法为大型语言模型（Large Language Model, LLM）和强化学习奖励模型提供替代性的评价机制。该项目是基于Mistral-Instruct模型进行开发，是对现有GPT-4评估模型的一种创新补充。

模型特性

模型描述

模型类型： 语言模型
语言： 英语
许可证： Apache 2.0
相关模型： prometheus系列模型

prometheus-7b-v2.0使用了mistralai的Mistral-7B-Instruct-v0.2作为其基础模型，并通过两类数据集进行微调：Feedback Collection数据集包含10万条反馈信息，Preference Collection数据集则包含20万条反馈。通过这种方式，模型可以在绝对评分（直接评估）和相对评分（对比评估）两种模式下均表现出良好的性能。

反馈收集与评分机制

绝对评分（直接评估）

在绝对评分模式下，用户需要提供四个输入组件：指令、待评估的响应、评分标准以及参考答案。用户根据标准严格评估响应并给出详细反馈，评分范围从1到5。

相对评分（对比评估）

在相对评分模式下，用户同样需要提供四个输入组件，但评估两种响应而非一种。用户需对两个响应进行严格对比评估，通过评分标准选择较佳响应，即A或B。

技术实现

为简化使用，prometheus-7b-v2.0提供了相关的封装函数和类，用户可以在项目的GitHub仓库中找到这些工具。在使用过程中，用户需要根据不同的评分模式选择相应的提示模板和系统提示信息，以保证模型行为的预期一致性。这一切都可以通过设置对话模板来实现。

使用条款

项目中的Feedback Collection和Preference Collection数据集，以及Prometheus 2的使用，均遵从OpenAI生成数据的使用条款。

参考文献

如需引用该模型，请使用以下BibTeX格式：

@misc{kim2023prometheus,
    title={Prometheus: Inducing Fine-grained Evaluation Capability in Language Models},
    author={Seungone Kim and Jamin Shin and Yejin Cho and Joel Jang and Shayne Longpre and Hwaran Lee and Sangdoo Yun and Seongjin Shin and Sungdong Kim and James Thorne and Minjoon Seo},
    year={2023},
    eprint={2310.08491},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

@misc{kim2024prometheus,
    title={Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models},
    author={Seungone Kim and Juyoung Suk and Shayne Longpre and Bill Yuchen Lin and Jamin Shin and Sean Welleck and Graham Neubig and Moontae Lee and Kyungjae Lee and Minjoon Seo},
    year={2024},
    eprint={2405.01535},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

prometheus-7b-v2.0的开发和应用为语言模型的细致、客观评估提供了新的思路与工具，其开放源码的特性也为研究人员和开发者拓展LLM的应用场景提供了便利。