HalluQA: 评估中文大语言模型的幻觉现象

HalluQA:为中文大语言模型构建幻觉评估基准

在人工智能快速发展的今天,大语言模型(LLM)的能力令人惊叹,但同时也面临着诸多挑战。其中一个重要问题就是模型的"幻觉"现象,即模型生成的内容与事实不符或完全虚构。为了系统性地评估和改进中文大语言模型在这一方面的表现,研究人员开发了HalluQA(Chinese Hallucination Question-Answering)基准数据集。

HalluQA的设计与构建

HalluQA包含450个精心设计的对抗性问题,这些问题涵盖了多个领域,并特别考虑了中国的历史文化、风俗习惯和社会现象。数据集的构建过程经过了多个严谨的步骤:

问题设计:研究人员首先设计了一系列可能引发模型幻觉的问题。
答案生成:利用ChatGPT3.5、Puyu和GLM-130B等模型生成答案,并收集对抗性样本。
答案标注:为每个对抗性问题编写多个正确和错误的答案,并添加支持证据。
质量控制:对所有问答对进行检查,删除低质量样本。

HalluQA数据收集流程

这种多步骤的设计确保了HalluQA数据集的高质量和多样性,能够全面评估模型在各种情况下的表现。

评估方法与指标

HalluQA采用"非幻觉率"作为主要评估指标,即模型生成的不包含幻觉的答案占总答案的百分比。为了实现自动化评估,研究人员创新性地使用GPT-4作为评估器,根据给定的标准和参考正确答案来判断模型生成的答案是否存在幻觉。

评估过程的具体步骤如下:

安装所需依赖
运行评估脚本,输入模型响应文件和OpenAI API密钥
结果将保存在results.json和non_hallucination_rate.txt文件中

此外,HalluQA还提供了多项选择任务版本,可以使用另一个专门的脚本来计算准确率。

实验结果与分析

研究人员对24个主流的中文大语言模型进行了广泛的实验,包括预训练模型、对话模型和检索增强对话模型。实验结果令人深思:

HalluQA评估结果

总体表现:在24个测试模型中,有18个模型的非幻觉率低于50%,说明HalluQA确实具有很高的挑战性。
模型类型差异:
- 检索增强对话模型:表现最好,如ERNIE-Bot和Baichuan2-53B。
- 对话模型:表现中等,如abab5.5-chat和GPT-4。
- 预训练模型:表现相对较差,如Qwen-14B和Baichuan2-13B-base。
问题类型影响:
- 误导性问题:大多数模型表现较好。
- 困难误导性问题:模型表现普遍下降。
- 知识型问题:检索增强模型明显优势,其他类型模型表现参差不齐。
有趣发现:
- 中文模型在知识问题上优于ChatGPT-3.5和GPT-4,显示出在中文知识方面的优势。
- GPT-4在非知识问题上表现出色,展现了其优秀的跨语言能力。
- 检索增强并非总是有效,不同模型在整合搜索结果方面存在差异。