Github
Huggingface
论文💡 多跳RAG
一个用于评估跨文档检索增强生成的数据集
🚀 概述
MultiHop-RAG：一个用于评估RAG流程中跨文档检索和推理的问答数据集。它包含2556个查询，每个查询的证据分布在2到4个文档中。查询还涉及文档元数据，反映了真实世界RAG应用中常见的复杂场景。
📄 论文链接**(已被COLM 2024接收)**：MultiHop-RAG：为多跳查询基准测试检索增强生成 🤗 Hugging Face数据加载器
简单使用案例
1. 用于检索
请尝试'simple_retrieval.py'，这是一个使用此数据集进行检索的示例用例。
pip install llama-index==0.9.40
# 测试简单检索并保存结果
python simple_retrieval.py --retriever BAAI/llm-embedder
# 测试带重排的简单检索并保存结果
python simple_retrieval.py --retriever BAAI/llm-embedder --rerank
2. 用于问答
请尝试'qa_llama.py'，这是一个使用此数据集通过llama进行查询和回答的示例用例。
python qa_llama.py
评估
1. 用于检索：'retrieval_evaluate.py'
2. 用于问答：'qa_evaluate.py'
python retrieval_evaluate.py --file {保存的文件路径}
引用
@misc{tang2024multihoprag,
title={MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries},
author={Yixuan Tang and Yi Yang},
year={2024},
eprint={2401.15391},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
许可
MultiHop-RAG 采用 ODC-BY 许可
