我们认为，人类评估者具备检测幻觉等问题所需的专业知识和常识，因此在评估大语言模型的事实性方面比自动评估指标更可靠。然而，如果人工评估具有挑战性，研究人员可以灵活调整他们的评估方法。一个容易实施的替代方案是使用标准指标，如F1/精确匹配或召回率，这些指标评估模型响应与标准答案之间的重叠度（例如，参见You.com最近的博客，他们报告了FreshQA的召回率）。研究人员还可以使用基于大语言模型的自动评估指标，如FactScore或我们下面的FreshEval指标。

自动评估

为了便于未来的评估，我们开发了FreshEval，这是一个简单的自动指标，它使用少量示例的上下文学习来教导大语言模型判断模型响应，该指标与人类评分者达成了高度一致（详见我们论文附录B）。

要在特定评估模式（宽松或严格）下使用FreshEval，请按照以下说明操作：

复制我们最新的数据电子表格，并将其以新文件名（如"fresheval_relaxed"或"fresheval_strict"）存储在您的Google Drive中。
在新电子表格中插入3个新列"D"、"E"、"F"，分别用于模型响应、评估评分和评估解释，并将您模型的响应保存在"D"列中（参见下方我们的样本评估电子表格）。
以评估模式运行相关的"FreshEval"笔记本。请注意，出于演示目的，我们仅评估了前10个模型响应。您可以根据需要调整数量。

**注意：**目前，我们推荐使用"gpt-4-1106-preview"而非"gpt-4-0125-preview"进行"FreshEval"，因为在我们的小规模评估中，前者与人工标注的一致性略高。

以下是我们的"FreshEval"笔记本。

FreshEval（宽松版）笔记本：[使用]

[样本评估电子表格]
[样本评估结果]

FreshEval（严格版）笔记本：[使用]

[样本评估电子表格]
[样本评估结果]

获得模型响应的TRUE/FALSE评分后，按照以下说明计算每个问题类别的准确率：

以逗号分隔值（.csv）格式下载我们最新的数据电子表格，并将其存储为"freshqa.csv"。
打开此笔记本[使用]并将"freshqa.csv"文件上传到会话存储（"文件 > 上传文件到会话存储"）。
用您的评分替换笔记本中的现有评分，然后运行笔记本。

致谢

我们感谢Hailey Joren、William Zhang、Varun Singh、Peter Hart和Filipe Mesquita在更新我们的"FreshQA"问题/答案方面提供的帮助。

我们感谢以下人员对创建我们原始FreshQA数据集的贡献：Marzena Karpinska、Dustin Tran、Daniel Cer、Sam Fullerton、Elizabeth Clark、Nishant Raj、Xiaoyu Song、Yapei Chang、Yixiao Song、Nader Akoury、Ankita Gupta、Bill Ray、Chau Pham、Wenlong Zhao、Maximilian Mozes、Simeng Sun、Ronan Salz、Kalpesh Krishna、Katherine Thai、Kanishka Misra、Salaheddin Alzu'bi、Erica Cai、Thibault Sellam、Jiao Sun、Dhruv Agarwal、Tessa Masis、Andrew Drozdov、Brian Lester、George Wei、Naveen Jafer Nizar、Shufan Wang、Youngwoo Kim和Shib Sankar Dasgupta。

我们还感谢SerpApi在"FreshPrompt"发布时慷慨赞助用户10,000次搜索。

引用

如果您使用我们的数据或方法，请引用我们的论文：

@misc{vu2023freshllms,
      title={FreshLLMs: 使用搜索引擎增强刷新大型语言模型}, 
      author={Tu Vu 和 Mohit Iyyer 和 Xuezhi Wang 和 Noah Constant 和 Jerry Wei 和 Jason Wei 和 Chris Tar 和 Yun-Hsuan Sung 和 Denny Zhou 和 Quoc Le 和 Thang Luong},
      year={2023},
      eprint={2310.03214},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

freshqa

FreshLLMs

FreshQA

FreshPrompt

FreshEval

自动评估

致谢

引用