Github
Huggingface
论文使大型语言模型能够生成带引用的文本
*: ALCE发音为/elk/，因为ALCE是欧洲麋鹿或北美驼鹿的拉丁词。
本仓库包含论文《使大型语言模型能够生成带引用的文本》的代码和数据。 在这篇论文中，我们提出了ALCE，一个用于自动评估大型语言模型引用的基准测试。 ALCE包含三个数据集：ASQA、QAMPARI和ELI5。 我们提供了从流畅度、正确性和引用质量三个维度自动评估大型语言模型生成内容的代码。 本仓库还包括复现我们论文中基准模型的代码。
快速链接
要求
请安装最新版本的PyTorch（torch）、HuggingFace Transformers（transformers）、HuggingFace Accelerate（accelerate）和OpenAI API包（openai）。本代码库在Python 3.9.7环境下，使用torch==2.1.0.dev20230514+cu118、transformers==4.28.1、accelerate==0.17.1和openai==0.27.4进行了测试。
数据
你可以通过运行以下命令下载数据集（包括检索结果）：
bash download_data.sh
所有数据将存储在data/目录中。我们的数据包括ASQA和QAMPARI的前100个DPR/GTR检索结果，以及QAMPARI的前100个BM25检索结果。我们还提供了重新排序的最优检索结果，其中前5个段落可以达到与原始前100个相同的召回率。
检索
你可以使用以下命令复现段落检索步骤：
python retrieval.py --data {path/to/data} --retriever {bm25/gtr} --output_file {path/to/output}
检索步骤需要额外的软件包。
具体来说，你需要安装pyserini==0.21.0（他们的github仓库很有帮助）和sentence-transformers==2.2.2。
对于使用Sphere进行Common Crawl的BM25检索，你必须先从Sphere仓库下载索引，并将环境变量BM25_SPHERE_PATH设置为下载索引的路径。
具体来说，你可以使用以下命令：
wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_sparse_index.tar.gz
tar -xzvf faiss_index/sphere_sparse_index.tar.gz -C faiss_index
export BM25_SPHERE_PATH=$PWD/faiss_index
需要注意的是，由于语料库的规模较大，这一步骤非常耗时且消耗资源。我们发现，更大的CPU内存往往有助于提高速度。
对于GTR，我们首先使用DPR维基百科快照构建索引，你可以使用DPR仓库中的下载脚本获取，然后将环境变量DPR_WIKI_TSV设置为tsv文件的路径。
具体来说，你可以使用以下命令：
wget https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz
gzip -xzvf psgs_w100.tsv.gz
export DPR_WIKI_TSV=$PWD/psgs_w100.tsv
然后，你需要将GTR_EMB设置为维基百科语料库的GTR嵌入的路径，首次运行检索脚本时会自动构建并保存索引。
构建密集索引对GPU内存要求较高（我们使用80GB的GPU），且耗时较长；整个索引大约需要31GB。
如果你觉得这一步骤过于昂贵，也可以通过以下方式下载：
wget https://huggingface.co/datasets/princeton-nlp/gtr-t5-xxl-wikipedia-psgs_w100-index/resolve/main/gtr_wikipedia_index.pkl
export GTR_EMB=$PWD/gtr_wikipedia_index.pkl
要复现DPR检索，请参考DPR仓库，我们使用了在NQ上训练的原始DPR检查点。
代码结构
run.py：用于复现我们的基线生成的运行文件。eval.py：用于评估生成结果的评估文件。prompts：包含所有提示文件的文件夹。configs/：包含所有用于复现基线的配置文件的文件夹。tools/：杂项代码（生成摘要/片段、重新排序等）。
复现基线
你可以通过以下命令复现我们论文中的基线：
python run.py --config configs/{config_name}
你还可以通过命令行覆盖配置文件中的任何参数或添加新参数：
python run.py --config configs/{config_name} --seed 43 --model vicuna-13b
配置文件的命名规则为{LLM}_{#demos和#passages}_{检索器}_{方法}.yaml。方法名包括：
default对应我们论文中的Vanilla模型。summary对应Summary模型。extraction对应Snippet模型。interact_doc_id对应Interact模型。interact_search对应InlineSearch模型。closedbook对应ClosedBook模型。
我们的代码支持OpenAI API和离线HuggingFace模型：
- 对于OpenAI模型（例如ChatGPT），你需要设置环境变量
OPENAI_API_KEY和OPENAI_ORG_ID。如果你使用Azure OpenAI API，则需要设置环境变量OPENAI_API_KEY和OPENAI_API_BASE。你还需要添加--azure标志。- 请注意，在Azure OpenAI API中，ChatGPT的名称不同，你应该通过
--model gpt-35-turbo设置它。
- 请注意，在Azure OpenAI API中，ChatGPT的名称不同，你应该通过
- 对于开源模型，你应该将模型名称设置为HuggingFace模型的
.from_pretrained方法的输入。这可以是本地目录（例如旧版LLaMA模型）或HuggingFace hub的路径。
有关详细的参数用法，请参考run.py。
模型输出以及金标准答案和运行配置将以json文件形式存储在result/中。
事后引用
对于闭卷模型，可以使用post_hoc_cite.py以事后方式添加引用（使用GTR-large）。要运行事后引用，执行
python post_hoc_cite.py --f result/{结果JSON文件名} --external_docs data/{对应数据}
带有事后引用的输出文件将存储在result/中，后缀为post_hoc_cite.gtr-t5-large-external。
评估
ACLE评估在eval.py中实现。
对于ASQA，使用以下命令
python eval.py --f {结果文件路径} --citations --qa --mauve
对于QAMPARI，使用以下命令
python eval.py --f {结果文件路径} --citations
对于ELI5，使用以下命令
python eval.py --f {结果文件路径} --citations --claims_nli --mauve
评估结果将保存在result/中，文件名与输入相同，后缀为.score。
人工评估
我们的人工评估（第6节）结果位于human_eval目录下。
数据和分析都可以获取，详情请参阅该目录。
错误或问题？
如果您有任何与代码或论文相关的问题，欢迎发送电子邮件至Tianyu（tianyug@cs.princeton.edu）。如果您在使用代码时遇到任何问题，或想要报告bug，可以提出一个issue。请尽量详细说明问题，以便我们能更好更快地帮助您！
引用
如果您在研究中使用了ALCE，请引用我们的论文：
@inproceedings{gao2023enabling,
title={Enabling Large Language Models to Generate Text with Citations},
author={Gao, Tianyu and Yen, Howard and Yu, Jiatong and Chen, Danqi},
year={2023},
booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
}
