访问官网
Github
论文ChatGPT-RetrievalQA: ChatGPT的回复能否作为问答检索模型的训练数据？
论文"Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts"和论文"A Test Collection of Synthetic Documents for Training Rankers: ChatGPT vs. Human Experts"的存储库。一个用于训练和评估问答(QA)检索模型的数据集，通过ChatGPT的回复训练/评估，或在真实人类回复上进行训练/评估。
如果使用此数据集，请使用以下bibtex参考文献：
@InProceedings{askari2023chatgptcikm2023,
author = {Askari, Arian and Aliannejadi, Mohammad and Kanoulas, Evangelos and Verberne, Suzan},
titlE = {A Test Collection of Synthetic Documents for Training Rankers: ChatGPT vs. Human Experts},
year = 2023,
booktitle = {The 32nd ACM International Conference on Information and Knowledge Management (CIKM 2023)},
}
@InProceedings{askari2023genirsigir2023,
author = {Askari, Arian and Aliannejadi, Mohammad and Kanoulas, Evangelos and Verberne, Suzan},
title = {Generating Synthetic Documents for Cross-Encoder Re-Rankers: A Comparative Study of ChatGPT and Human Experts},
year = 2023,
booktitle = {Generative Information Retrieval workshop at ACM SIGIR 2023},
}
这项工作是在教授Mohammad Aliannejadi、Evangelos Kanoulas和Suzan Verberne的监督下完成的，我的访问研究在阿姆斯特丹大学信息检索实验室的期间进行的(IRLab@UvA)。
我们的工作总结
给定一组问题及相应的ChatGPT和人类的回答，我们分别制作了两个集合：一个是ChatGPT，一个是人类。通过这样做，我们从信息检索的角度提供了多个分析机会，评估ChatGPT回复对训练检索模型的有用性。我们为端到端检索和重新排序设置提供了数据集。为了给其他分析提供灵活性，我们将所有文件分别组织为ChatGPT和人类的回复。
为什么在ChatGPT可以生成答案的情况下依赖检索？
虽然ChatGPT是一种强大的语言模型，能够生成令人印象深刻的答案，但其并非没有错误或虚假的信息。此外，ChatGPT生成的信息来源并不透明，通常即使信息正确也没有来源。在法律、医学、科学等专业领域，信任度和责任性至关重要，这会成为更大的问题。与生成模型不同，检索模型从来源中检索实际（真实）信息，搜索引擎提供每个检索项的来源。这就是为什么在即使ChatGPT存在的情况下，信息检索仍然是一个重要的应用，特别是在可靠性至关重要的情况下。
答案排名数据集
该数据集基于公开的HC3数据集，尽管我们的实验 setup 和评估将有所不同。我们将数据分为训练集、验证集和测试集，以便在ChatGPT或人类答案上训练/评估答案检索模型。我们将人类/ChatGPT的实际回复存储为相关答案。对于训练，一组随机回答可用作非相关答案。在我们的主要实验中，我们在ChatGPT的回应上进行训练，并在人的回应上进行评估。我们以类似于MSMarco数据集的格式发布ChatGPT-RetrievalQA数据集，这是一个广受训练检索模型欢迎的数据集。因此，每个人都可以在我们的数据上重新使用他们的MSMarco数据集脚本。
| 描述 | 文件名 | 文件大小 | 记录数量 | 格式 |
|---|---|---|---|---|
| Collection-H (H: 人类回复) | collection_h.tsv | 38.6 MB | 58,546 | tsv: pid, passage |
| Collection-C (C: ChatGPT回复) | collection_c.tsv | 26.1 MB | 26,882 | tsv: pid, passage |
| Queries | queries.tsv | 4 MB | 24,322 | tsv: qid, query |
| Qrels-H Train (人类回复的训练集Qrels) | qrels_h_train.tsv | 724 KB | 40,406 | TREC qrels格式 |
| Qrels-H Validation (人类回复的验证集Qrels) | qrels_h_valid.tsv | 29 KB | 1,460 | TREC qrels格式 |
| Qrels-H Test (人类回复的测试集Qrels) | qrels_h_test.tsv | 326 KB | 16,680 | TREC qrels格式 |
| Qrels-C Train (ChatGPT回复的训练集Qrels) | qrels_c_train.tsv | 339 KB | 18,452 | TREC qrels格式 |
| Qrels-C Validation (ChatGPT回复的验证集Qrels) | qrels_c_valid.tsv | 13 KB | 672 | TREC qrels格式 |
| Qrels-C Test (ChatGPT回复的测试集Qrels) | qrels_c_test.tsv | 152 KB | 7,756 | TREC qrels格式 |
| Queries, Answers, and Relevance Labels (查询，答案和相关性标签) | collectionandqueries.zip | 23.9 MB | 866,504 | |
| Train-H Triples (训练集H三元组) | train_h_triples.tsv | 58.68 GB | 40,641,772 | tsv: query, positive passage, negative passage |
| Validation-H Triple (验证集H三元组) | valid_h_triples.tsv | 2.02 GB | 1,468,526 | tsv: query, positive passage, negative passage |
| Train-H Triples QID PID Format (训练集H三元组QID PID格式) | train_h_qidpidtriples.tsv | 921.7 MB | 40,641,772 | tsv: qid, positive pid, negative pid |
| Validation-H Triples QID PID Format (验证集H三元组QID PID格式) | valid_h_qidpidtriples.tsv | 35.6 MB | 1,468,526 | tsv: qid, positive pid, negative pid |
| Train-C Triples (训练集C三元组) | train_c_triples.tsv | 37.4 GB | 18,473,122 | tsv: query, positive passage, negative passage |
| Validation-C Triple (验证集C三元组) | valid_c_triples.tsv | 1.32 GB | 672,659 | tsv: query, positive passage, negative passage |
| Train-C Triples QID PID Format (训练集C三元组QID PID格式) | train_c_qidpidtriples.tsv | 429.6 MB | 18,473,122 | tsv: qid, positive pid, negative pid |
| Validation-C Triples QID PID Format (验证集C三元组QID PID格式) | valid_c_qidpidtriples.tsv | 16.4 MB | 672,659 | tsv: qid, positive pid, negative pid |
我们发布了三元组格式的训练和验证数据以便于训练。用于训练ChatGPT回复的三元组文件是："train_c_triples.tsv" 和 "valid_c_triples.tsv"。此外，我们发布了基于人类回复的三元组文件，便于大家比较基于ChatGPT和人类回复的训练效果（文件："train_h_triples.tsv" 和 "valid_h_triples.tsv"）。给定每个查询和正面答案，随机抽取了1000个负面答案。
答案重新排序数据集
| 描述 | 文件名 | 文件大小 | 记录数量 |
|---|---|---|---|
| Top-H 1000 Train (Top-H 1000训练) | top_1000_h_train.run | 646.6 MB | 16,774,122 |
| Top-H 1000 Validation (Top-H 1000验证) | top_1000_h_valid.run | 23.7 MB | 605,956 |
| Top-H 1000 Test (Top-H 1000测试) | top_1000_h_test.run | 270.6 MB | 692,0845 |
| Top-C 1000 Train (Top-C 1000训练) | top_1000_c_train.run | 646.6 MB | 16,768,032 |
| Top-C 1000 Validation (Top-C 1000验证) | top_1000_c_valid.run | 23.7 MB | 605,793 |
| Top-C 1000 Test (Top-C 1000测试) | top_1000_c_test.run | 271.1 MB | 6,917,616 |
答案重新排序数据集的运行文件格式是TREC运行格式。
注意: 我们在Elasticsearch中使用BM25作为第一阶段排序器，以便在给定问题（即查询）的情况下对搜索到的前1000个文档进行排名。然而，对于某些查询，检索到的文档少于1000个，这意味着在整个集合中，至少有一个词与查询匹配的文档少于1000个。
分析BM25在人工/ChatGPT回复上的效果
敬请期待。
ChatGPT-RetrievalQA-Evlaution 
BERT 在 Qrels-H 测试中的重新排名效果
我们在由 ChatGPT 生成的回复上训练 BERT（使用 queries.tsv、collection_c.tsv、train_c_triples.tsv、valid_c_triples.tsv、qrels_c_train.tsv 和 qrels_c_valid.tsv 文件）。接下来，我们评估 BERT 作为答案重新排名模型在人类回复上的效果（使用 queries.tsv、collection_h.tsv、top_1000_c_test.run 和 qrels_h_test.tsv）。通过这样做，我们回答以下问题：“在评估人类回复时，一个在 ChatGPT 回复上训练的答案检索模型的有效性如何？”
敬请期待。
其他大型语言模型（LLMs）生成的回复集合
敬请期待。
创建数据集的代码
ChatGPT-RetrievalQA-Dataset-Creator
数据集来源和版权
特别感谢 HC3 团队 发布的 Human ChatGPT Comparison Corpus (HC3) 语料库。我们的数据是基于他们的数据集创建的，并遵循他们的许可。
