InfiniteBench：将长上下文评估延伸至10万个标记以上

中文 • 英文 • 论文

简介

欢迎来到InfiniteBench，这是一个尖端基准测试，专门用于评估语言模型处理、理解和推理超长上下文（10万个以上标记）的能力。长上下文对于增强大型语言模型的应用和实现高级交互至关重要。InfiniteBench旨在通过测试10万个以上标记的上下文长度来突破语言模型的界限，这是传统数据集长度的10倍。

特点

• 超长上下文： InfiniteBench在测试10万个以上标记上下文长度的语言模型方面开创先河，为该领域提供了无与伦比的挑战。
• 多样化领域： 该基准测试包含12个独特任务，每个任务都旨在评估延长上下文中语言处理和理解的不同方面。
• 专门测试： InfiniteBench包含的任务是已知最先进的大型语言模型在使用较短上下文时能够胜任的。这确保了性能下降仅由上下文长度引起。
• 真实和合成场景： 任务混合了真实世界场景和合成构造，确保对模型进行全面评估。真实世界场景使测试更加实用，而合成场景则为进一步延长上下文长度留下了空间。

任务组成

如何下载数据

点击这里直接从🤗 Huggingface下载数据：https://huggingface.co/datasets/xinrongzhang2022/InfiniteBench

使用🤗 Datasets

或者，您可以使用🤗 Datasets库按如下方式下载。

from datasets import load_dataset
dataset = load_dataset("xinrongzhang2022/InfiniteBench")

使用脚本

cd InfiniteBench
bash scripts/download_dataset.sh

这将直接将数据下载到data目录。

评估结果

我们对最先进的专有和开源大型语言模型进行了评估，结果如下。

注意：

1. YaRN-Mistral-7B的评估代码是我们自己实现的，如有任何问题，请联系我们或提交问题。

2. Kimi-Chat、Claude 2和GPT-4使用官方API的默认配置进行评估。

3. 对于数学.计算任务，括号中的值以0.01%为测量单位。这是因为在这个任务中很容易得到非常低的分数。

4. 数学.查找、数学.计算、代码.运行、代码.调试、英文.对话、英文.多选、检索.键值、检索.数字和检索.密码任务的评估指标是准确率；

   中文.问答和英文.问答任务的评估指标是ROUGE F1分数；

   英文.总结任务的评估指标是来自🤗 Evaluate库的rougeLsum分数。

安装

pip install -r requirements.txt

如何运行

将数据集下载到data文件夹（或通过--data_dir参数设置数据集的位置）。数据文件夹结构应如下所示：

InfiniteBench
├── data
│   ├── code_debug.jsonl
│   ├── code_run.jsonl
│   ├── kv_retrieval.jsonl
│   ├── longbook_choice_eng.jsonl
│   ├── longbook_qa_chn.jsonl
│   ├── longbook_qa_eng.jsonl
│   ├── longbook_sum_eng.jsonl
│   ├── longdialogue_qa_eng.jsonl
│   ├── math_calc.jsonl
│   ├── math_find.jsonl
│   ├── number_string.jsonl
│   ├── passkey.jsonl
│   └── construct_synthetic_dataset.py
...

然后，在src文件夹中执行：

python eval_yarn_mistral.py --task kv_retrieval
python eval_gpt4.py --task longbook_sum_qa
python eval_rwkv.py --task passkey

可用的任务有：

引用

这将在我们的预印本论文发布后更新。

@misc{zhang2024inftybench,
      title={$\infty$Bench: Extending Long Context Evaluation Beyond 100K Tokens}, 
      author={Xinrong Zhang and Yingfa Chen and Shengding Hu and Zihang Xu and Junhao Chen and Moo Khai Hao and Xu Han and Zhen Leng Thai and Shuo Wang and Zhiyuan Liu and Maosong Sun},
      year={2024},
      eprint={2402.13718},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

致谢

感谢冯聪、翟中午、曾国洋、宋晨阳、罗仁杰、何超群、涂玉琳、平博文、黄宇杰、梅煜东、张凯活、赵伟霖、孙奥、陈雨林、崔淦曲。

参考文献