使大型语言模型能够生成带引用的文本

*: ALCE 的发音为 /elk/，因为 ALCE 是拉丁语中“麋鹿”（欧洲）或“驼鹿”（北美）的意思。

此仓库包含论文《使大型语言模型能够生成带引用的文本》（arXiv:2305.14627）的代码和数据。在该论文中，我们提出了 ALCE，一个用于自动评估 大型语言模型 引用的基准测试集。ALCE 包含三个数据集：ASQA、QAMPARI 和 ELI5。 我们提供了针对大型语言模型生成内容的自动评估代码，涵盖流畅性、正确性和引用质量三个维度。此外，本仓库还包含用于复现我们论文中基线模型的代码。

快速链接

• 要求
• 数据
• 代码结构
• 复现基线
• 评估
• 人工评估
• 问题或疑问
• 引用

要求

请安装最新版本的 PyTorch (torch)、HuggingFace Transformers (transformers)、HuggingFace Accelerate (accelerate) 以及 OpenAI API 包 (openai)。本代码库已在以下环境中测试通过：torch==2.1.0.dev20230514+cu118、transformers==4.28.1、accelerate==0.17.1 和 openai==0.27.4，Python 版本为 3.9.7。

数据

您可以通过运行以下命令下载数据集（连同检索结果）：

bash download_data.sh

所有数据将存储在 data/ 目录下。我们的数据包括 ASQA 和 QAMPARI 的 DPR/GTR 检索结果 top-100，以及 ELI5 的 BM25 检索结果 top-100。我们还提供了重新排序后的最优检索结果，其中 top-5 文档即可达到与原始 top-100 相同的召回率。

检索

您可以通过以下命令复现段落检索步骤：

python retrieval.py --data {path/to/data} --retriever {bm25/gtr} --output_file {path/to/output}

检索步骤还需要一些额外的依赖包。具体来说，您需要安装 pyserini==0.21.0（其 GitHub 仓库 repo 非常有帮助）和 sentence-transformers==2.2.2。

对于使用 Sphere 在 Common Crawl 上进行的 BM25 检索，您必须先从 Sphere 的 GitHub 仓库 repo 下载索引，并将环境变量 BM25_SPHERE_PATH 设置为已下载索引的路径。具体操作如下：

wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_sparse_index.tar.gz
tar -xzvf faiss_index/sphere_sparse_index.tar.gz -C faiss_index
export BM25_SPHERE_PATH=$PWD/faiss_index

需要注意的是，由于语料库规模庞大，这一步骤非常耗时且成本高昂。我们发现更大的 CPU 内存有助于提高速度。

对于 GTR 检索，我们首先使用 DPR 的 Wikipedia 快照构建索引，您可以从 DPR 的 GitHub 仓库 repo 下载脚本获取该快照，然后将环境变量 DPR_WIKI_TSV 设置为 tsv 文件的路径。具体操作如下：

wget https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz
gzip -xzvf psgs_w100.tsv.gz
export DPR_WIKI_TSV=$PWD/psgs_w100.tsv

接下来，您需要将 GTR_EMB 设置为 Wikipedia 语料库的 GTR 嵌入向量路径，首次运行检索脚本时会自动构建并保存索引。构建密集索引对 GPU 内存的要求较高（我们使用 80GB 的 GPU），并且耗时较长；整个索引大约占用 31GB 的空间。如果您觉得这一步过于昂贵，也可以直接下载：

wget https://huggingface.co/datasets/princeton-nlp/gtr-t5-xxl-wikipedia-psgs_w100-index/resolve/main/gtr_wikipedia_index.pkl
export GTR_EMB=$PWD/gtr_wikipedia_index.pkl

为了复现 DPR 检索，我们参考了 DPR 的 GitHub 仓库 repo，并使用了其在 NQ 数据集上训练的原始 DPR 检查点。

代码结构

• run.py: 用于复现我们基线生成内容的主程序文件。
• eval.py: 用于评估生成内容的评估文件。
• prompts: 包含所有提示模板文件的文件夹。
• configs/: 包含所有用于复现基线配置文件的文件夹。
• tools/: 其他辅助代码（生成摘要/片段、重新排序等）

复现基线

您可以通过以下命令复现我们论文中的基线模型：

python run.py --config configs/{config_name}

您还可以通过命令行覆盖配置文件中的任何参数，或添加新的参数：

python run.py --config configs/{config_name} --seed 43 --model vicuna-13b

配置文件的命名遵循 {LLM}_{#demos and #passages}_{retriever}_{method}.yaml 的规则。方法名称包括：

• default 对应于我们论文中的Vanilla模型。
• summary 对应于Summary模型。
• extraction 对应于Snippet模型。
• interact_doc_id 对应于Interact模型。
• interact_search 对应于InlineSearch模型。
• closedbook 对应于ClosedBook模型。

我们的代码同时支持 OpenAI API 和离线的 HuggingFace 模型：

• 对于 OpenAI 模型（例如 ChatGPT），您需要设置环境变量 OPENAI_API_KEY 和 OPENAI_ORG_ID。如果您使用的是 Azure OpenAI API，则需要设置 OPENAI_API_KEY 和 OPENAI_API_BASE 环境变量，并添加 --azure 标志。
  • 请注意，在 Azure OpenAI API 中，ChatGPT 的名称有所不同，您应将其设置为 --model gpt-35-turbo。
• 对于开源模型，您应将模型名称设置为 HuggingFace 模型 .from_pretrained 方法的输入值。这可以是本地目录（例如较旧的 LLaMA 模型）或指向 HuggingFace Hub 的路径。

有关详细参数用法，请参阅 run.py。

模型输出、黄金答案和运行配置将被保存在 result/ 目录下的 JSON 文件中。

后置引用

对于闭卷模型，可以使用 post_hoc_cite.py 以事后方式添加引用（使用 GTR-large）。要运行后置引用功能，请执行：

python post_hoc_cite.py --f result/{RESULT JSON FILE NAME} --external_docs data/{CORRESPONDING DATA}

带有后置引用的输出文件将存储在 result/ 目录下，文件名后缀为 post_hoc_cite.gtr-t5-large-external。

评估

ACLE 的评估实现于 eval.py 文件中。

对于 ASQA 数据集，使用以下命令：

python eval.py --f {结果文件路径} --citations --qa --mauve

对于 QAMPARI 数据集，使用以下命令：

python eval.py --f {结果文件路径} --citations

对于 ELI5 数据集，使用以下命令：

python eval.py --f {结果文件路径} --citations --claims_nli --mauve

评估结果将保存在 result/ 目录下，文件名与输入文件相同，并添加 .score 后缀。

人工评估

我们的人工评估结果（第 6 节）位于 human_eval 目录下。该目录同时提供了数据和分析报告，详情请参阅该目录。

错误或疑问？

如果您对代码或论文有任何疑问，欢迎发送邮件至 Tianyu（tianyug@cs.princeton.edu）。如果在使用代码时遇到任何问题，或希望报告错误，您可以提交一个 issue。请尽可能详细地描述问题，以便我们能够更快更好地帮助您！

引用

如果您在工作中使用了 ALCE，请引用我们的论文：

@inproceedings{gao2023enabling,
   title={Enabling Large Language Models to Generate Text with Citations},
   author={Gao, Tianyu and Yen, Howard and Yu, Jiatong and Chen, Danqi},
   year={2023},
   booktitle={Empirical Methods in Natural Language Processing (EMNLP)},
}

ALCE 快速上手指南

ALCE (Automatic LLMs' Citation Evaluation) 是一个用于评估大语言模型生成文本引用质量的基准测试工具。它包含 ASQA、QAMPARI 和 ELI5 三个数据集，并提供自动评估代码以衡量生成内容的流畅度、正确性和引用质量。

环境准备

系统要求

• Python: 3.9.7 (推荐)
• GPU: 若需重建密集索引（GTR），建议显存 80GB；若使用预下载索引或仅运行推理/评估，常规显卡即可。
• 内存: 处理大规模检索索引时，较大的 CPU 内存有助于提升速度。

前置依赖

请确保安装以下核心库的最新版本：

• PyTorch (torch)
• HuggingFace Transformers (transformers)
• HuggingFace Accelerate (accelerate)
• OpenAI API (openai)

参考测试版本：

• torch==2.1.0.dev20230514+cu118
• transformers==4.28.1
• accelerate==0.17.1
• openai==0.27.4

若需复现检索步骤，还需额外安装：

• pyserini==0.21.0
• sentence-transformers==2.2.2

安装步骤

1. 克隆仓库

   git clone https://github.com/princeton-nlp/ALCE.git
   cd ALCE
   

2. 安装 Python 依赖 建议使用国内镜像源加速安装（如清华源）：

   pip install torch transformers accelerate openai -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   如需进行检索实验，请额外安装：

   pip install pyserini==0.21.0 sentence-transformers==2.2.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载数据 运行官方脚本下载数据集及预检索结果（包含 ASQA, QAMPARI, ELI5 的 top-100 检索结果）：

   bash download_data.sh
   

   注：数据将存储在 data/ 目录下。

4. (可选) 配置检索索引 若需复现 BM25 (Sphere) 或 GTR 检索步骤，需下载大型索引并设置环境变量。

   BM25 Sphere 索引:

   wget -P faiss_index https://dl.fbaipublicfiles.com/sphere/sphere_sparse_index.tar.gz
   tar -xzvf faiss_index/sphere_sparse_index.tar.gz -C faiss_index
   export BM25_SPHERE_PATH=$PWD/faiss_index
   

   GTR 索引 (推荐直接下载预处理好的索引以节省时间):

   wget https://huggingface.co/datasets/princeton-nlp/gtr-t5-xxl-wikipedia-psgs_w100-index/resolve/main/gtr_wikipedia_index.pkl
   export GTR_EMB=$PWD/gtr_wikipedia_index.pkl
   

基本使用

1. 复现基线模型生成

通过指定配置文件运行生成任务。配置文件命名规则为 {LLM}_{demos_passages}_{retriever}_{method}.yaml。

示例：运行 Vicuna-13b 模型的 Summary 方法

python run.py --config configs/vicuna-13b_summary.yaml --seed 43 --model vicuna-13b

OpenAI 模型使用说明： 若使用 ChatGPT，需设置环境变量：

export OPENAI_API_KEY="your_api_key"
export OPENAI_ORG_ID="your_org_id"
# 若使用 Azure OpenAI，还需设置 OPENAI_API_BASE 并添加 --azure 标志

运行命令示例：

python run.py --config configs/chatgpt_default.yaml --model gpt-35-turbo --azure

生成结果将保存在 result/ 目录下的 JSON 文件中。

2. 执行自动评估

根据数据集类型运行 eval.py 进行评估。

评估 ASQA 数据集:

python eval.py --f result/{result_file_name}.json --citations --qa --mauve

评估 QAMPARI 数据集:

python eval.py --f result/{result_file_name}.json --citations

评估 ELI5 数据集:

python eval.py --f result/{result_file_name}.json --citations --claims_nli --mauve

评估结果将保存为同名的 .score 文件。

3. (可选) 事后添加引用

对于闭源模型生成的文本，可使用 post_hoc_cite.py 利用 GTR-large 模型事后添加引用：

python post_hoc_cite.py --f result/{RESULT_JSON_FILE} --external_docs data/{CORRESPONDING_DATA}