LongBench: 一个双语多任务的长文本理解基准测试

LongBench: 开创性的长文本理解评估基准

在人工智能和自然语言处理领域,大语言模型(LLMs)的出现无疑是一场革命。这些模型在各种语言任务中展现出惊人的能力,但它们也面临着一个共同的挑战 - 长文本理解。大多数LLMs只能处理几千个token的输入,这严重限制了它们在处理长篇文档、报告或代码库等场景中的应用。为了推动长文本理解技术的发展,清华大学知识工程实验室(THUDM)团队开发了一个创新性的评估基准 - LongBench。

LongBench的独特之处

LongBench是首个专门针对大语言模型长文本理解能力的双语多任务综合评估基准。它具有以下几个显著特点:

双语评估: LongBench同时包含中文和英文任务,这使得它能够全面评估模型在不同语言长文本上的表现。
多任务覆盖: 该基准包含6大类21个不同任务,涵盖了长文本应用的关键场景,如单文档问答、多文档问答、摘要生成、少样本学习、合成任务和代码补全等。
长文本挑战: LongBench中大多数任务的平均长度在5000到15000词之间,充分测试模型处理长文本的能力。
自动化评估: 考虑到长文本评估可能涉及高昂的人工标注或API调用成本,LongBench采用了完全自动化的评估方法,以最低成本衡量模型的长文本理解能力。

LongBench的构成

LongBench包含以下任务类型:

多文档问答(3个英文任务,1个中文任务)
单文档问答(3个英文任务,1个中文任务)
摘要生成(3个英文任务,1个中文任务)
少样本学习(3个英文任务,1个中文任务)
合成任务(2个英文任务,1个中文任务)
代码补全(2个任务)

总计14个英文任务,5个中文任务和2个代码任务,共4,750条测试数据。这种多样化的任务设置确保了对模型长文本处理能力的全面评估。

LongBench-E: 更均匀的长度分布

除了标准的LongBench,研究团队还提供了LongBench-E。这是一个通过均匀采样构建的测试集,在0-4k、4k-8k和8k+这三个长度区间内有大致相同数量的测试数据。这种设计使得LongBench-E更适合分析模型在不同输入长度下的性能变化。

LongBench的评估结果

LongBench对多个主流大语言模型进行了全面评估,包括GPT-3.5-Turbo-16k、Llama2-7B-chat-4k、LongChat-v1.5-7B-32k、XGen-7B-8k、InternLM-7B-8k、ChatGLM2-6B-32k、Vicuna-v1.5-7B-16k和ChatGLM3-6B-32k等。评估采用零样本(Zero-shot)场景,结果显示了不同模型在长文本理解方面的优劣。

英文任务评估结果

在英文任务中,ChatGLM3-6B-32k表现最为出色,平均得分达到48.5%。GPT-3.5-Turbo-16k紧随其后,得分为44.0%。这两个模型在各个任务类别中都展现出了较强的长文本处理能力。值得注意的是,尽管Llama2-7B-chat-4k的上下文窗口较小,但在某些任务中仍然表现不俗,特别是在少样本学习任务中。