BABILong：针对大语言模型的长上下文"大海捞针"基准测试

预印本已发布在arXiv上。

HF Datasets上的BABILong评估集：每个任务和每个长度（0、1、2、4、8、16、32、64、128、256、512k、1M和10M）的100个样本和1000个样本。

本项目由AIRI、DeepPavlov.ai和伦敦数学科学研究所合作完成。

bAbI + 书籍 = BABILong

BABILong是一个新颖的生成式基准测试，用于评估自然语言处理模型在处理任意长度文档中分散事实的性能。

解决长上下文任务需要模型能够从大量无关细节中区分出重要信息。为了模拟这种行为，我们将原始任务的句子"隐藏"在无关文本的句子之间。我们使用bAbI数据集[1]作为事实，PG19[2]作为背景文本。最终的测试样本可能长达数百万个标记。

BABILong由20个任务组成，旨在评估推理的基本方面。bAbI任务通过模拟一组角色和物体在多个位置进行各种移动和互动来生成。每个互动都用一个事实表示，例如**"玛丽去了办公室"，任务是使用当前模拟中的事实回答一个问题，比如"玛丽在哪里？"**。bAbI任务根据事实数量、问题复杂性和推理方面的不同而变化。

BABILong的前十个任务

任务	名称	每个任务的事实数	每个任务的支持事实数
qa1	单个支持事实	2 - 10	1
qa2	两个支持事实	2 - 68	2
qa3	三个支持事实	4 - 32	3
qa4	双参数关系	2	1
qa5	三参数关系	2 - 126	1
qa6	是非问题	2 - 26	1
qa7	计数	2 - 52	1-10
qa8	列表集合	2 - 50	1-8
qa9	简单否定	2 - 10	1
qa10	不确定知识	2 - 10	1

数据集使用示例

BABILong笔记本

大语言模型评估结果

我们在评估中包含了Hugging Face平台上每月下载量最高的长上下文模型。数值代表BABILong的QA1-QA5任务的平均准确率。

BABILong对当前长上下文模型来说是一个具有挑战性的基准测试。

即使是声称支持128K标记的模型，如GPT-4（gpt-4-0125-preview），在超过其输入容量的10%时也会出现性能下降。RAG方法无法提供帮助，而小规模模型（RMT 137M和Mamba 130M）的微调表明这些任务是可解的。

在BABILong上评估你喜欢的大语言模型

./notebooks和./scripts文件夹中提供了评估流行大语言模型的示例。

如何在BABILong上评估模型的示例

在BABILong上训练你的模型

训练你的长上下文模型

RMT运行示例

在BABILong上测试RMT

你可以使用./data中的README生成训练样本。

我们在BABILong上评估的各种大语言模型（GPT-4、GPT-3.5、Mistral、Mixtral、Phi-3、ChatGLM、Yi、Jamba）的预测结果在predictions_06_2024分支中。

加入挑战：帮助构建BABILong大语言模型排行榜！

我们热切邀请社区参与扩展BABILong基准测试，这是评估大语言模型在处理和理解长上下文信息能力的重要工具。你的贡献可以帮助创建一个全面的排行榜，反映自然语言处理领域的当前状态和进展。

如何贡献

测试你的模型： 使用BABILong评估你自己的大语言模型。分享你的发现，帮助我们了解不同模型在复杂、长上下文任务上的表现。
分享见解： 如果你进行了实验或对改进大语言模型在BABILong任务上的表现有见解，我们很乐意听取你的意见。
开发新任务： 通过贡献挑战和推动当前自然语言处理技术边界的新任务来增强基准测试。
改进基准测试： 我们随时欢迎对BABILong的设计、方法或文档的改进建议。
传播信息： 帮助我们扩大受众。在你的网络中分享这个基准测试，并鼓励他人参与。

提交你的结果

要提交你的结果或贡献，请按以下步骤操作：

准备数据： 确保您的结果有详细记录，包括模型细节、上下文大小以及任何特定的配置或微调应用。
创建拉取请求： 通过向BABILong GitHub仓库提交拉取请求来提交您的结果或贡献。
文档： 包含对您提交内容的清晰描述和任何可以帮助审核过程的相关细节。

通过参与，您不仅为自然语言处理研究的发展做出贡献，还在帮助塑造语言模型在处理现实世界复杂长文本内容方面的未来能力。让我们携手合作，使BABILong成为下一代大型语言模型基准测试的基石！

加入我们这项激动人心的努力，让我们一起突破可能性的界限！

引用

@misc{kuratov2024babilong,
      title={BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack}, 
      author={Yuri Kuratov and Aydar Bulatov and Petr Anokhin and Ivan Rodkin and Dmitry Sorokin and Artyom Sorokin and Mikhail Burtsev},
      year={2024},
      eprint={2406.10149},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}

@misc{kuratov2024search,
      title={In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss}, 
      author={Yuri Kuratov and Aydar Bulatov and Petr Anokhin and Dmitry Sorokin and Artyom Sorokin and Mikhail Burtsev},
      year={2024},
      eprint={2402.10790},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

数据集元数据

以下表格对于本数据集被搜索引擎（如Google数据集搜索）索引是必要的。

属性值

名称 BABILong基准测试

别名 BABILong

网址 https://github.com/booydar/babilong

同上 https://github.com/booydar/babilong

描述 此仓库包含BABILong基准测试的代码和说明。BABILong基准测试旨在测试语言模型在极长文档中分布的事实间进行推理的能力。BABILong包括20个多样化的推理任务，包括事实链接、简单归纳、推理、计数以及处理列表/集合。BABILong使用来自bAbI的事实和问题作为任务。PG-19书籍被用作长自然上下文的来源。

许可证