大型语言模型中的长文本事实性

这是与我们的论文《大型语言模型中的长文本事实性》（https://arxiv.org/abs/2403.18802）配套的官方代码发布。 本仓库包含：

1. LongFact：一个包含2,280个寻求事实性信息的提示集合，要求模型生成长文本回答。
2. 搜索增强的事实性评估器 (SAFE)：用于在长文本事实性场景下自动评估模型输出。
3. F1@K：基于人类偏好长度的召回率，将F1分数扩展到长文本场景。
4. 实验流水线，用于使用LongFact + SAFE对OpenAI和Anthropic的模型进行基准测试。

安装

首先，克隆我们的GitHub仓库。

git clone https://github.com/google-deepmind/long-form-factuality.git

然后进入新创建的文件夹：

cd long-form-factuality

接下来，使用conda创建一个新的Python 3.10+环境。

conda create --name longfact python=3.10

激活新创建的环境：

conda activate longfact

所有外部依赖包都列在requirements.txt中。要安装所有包，请运行以下命令：

pip install -r requirements.txt

使用说明

LongFact

完整的LongFact提示集位于longfact/文件夹中。 有关数据集的更多详细信息，请参阅longfact/README.md。

要运行我们用于生成LongFact的数据生成流水线，请使用以下命令： 有关数据生成流水线的更多信息，请参阅data_creation/README.md。

python -m data_creation.pipeline

SAFE

SAFE的完整实现位于eval/safe/目录中。 有关SAFE工作原理的更多信息，请参阅eval/safe/README.md。

要运行评估SAFE与FActScore人工标注之间相关性的流水线，请使用以下命令： 有关该实验的更多信息，请参阅eval/README.md。

python -m eval.correlation_vs_factscore

模型基准测试

要对OpenAI和Anthropic的模型进行基准测试，首先需要将您的API密钥添加到common/shared_config.py中（有关更多信息，请参阅common/README.md；请务必不要公开这些密钥）。 要获取给定提示集的模型响应，请使用以下命令： 有关我们主要实验流水线的更多信息，请参阅main/README.md。

python -m main.pipeline

接下来，要使用SAFE评估我们主要实验流水线中的提示-响应对，请使用以下命令，并确保将包含待评估提示-响应对的.json文件路径添加到--result_path参数中：

python -m eval.run_eval \
    --result_path=

单元测试

本目录中的每个文件都有一个对应的单元测试文件，文件名以_test结尾（例如，file.py对应file_test.py）。各个测试的具体运行命令已在单元测试文件中给出。 要运行所有单元测试，请使用以下命令：

python -m unittest discover -s ./ -p "*_test.py"

引用本工作

如果您觉得我们的代码有用，请引用我们的论文（https://arxiv.org/abs/2403.18802）：

@misc{wei2024long,
  title={大型语言模型中的长文本事实性},
  author={Wei, Jerry and Yang, Chengrun and Song, Xinying and Lu, Yifeng and Hu, Nathan and Huang, Jie and Tran, Dustin and Peng, Daiyi and Liu, Ruibo and Huang, Da and Du, Cosmo and Le, Quoc V.},
  year={2024},
  url={https://arxiv.org/abs/2403.18802},
}

许可与免责声明

版权所有 © 2024 DeepMind Technologies Limited

所有软件均采用Apache许可证2.0版（Apache 2.0）授权；除非符合Apache 2.0许可条款，否则不得使用本文件。您可以在以下网址获取Apache 2.0许可的副本： https://www.apache.org/licenses/LICENSE-2.0

所有其他材料均采用知识共享署名4.0国际许可（CC-BY）授权。您可以在以下网址获取CC-BY许可的副本： https://creativecommons.org/licenses/by/4.0/legalcode

除非适用法律另有规定或双方另有书面约定，否则在此处根据Apache 2.0或CC-BY许可分发的所有软件和材料均按“现状”提供，不提供任何形式的明示或暗示的保证或条件。具体的权利和限制由相应许可协议的语言条款决定。

本项目并非Google官方产品。

Long-Form Factuality 快速上手指南

本指南帮助中国开发者快速部署并使用 Google DeepMind 开源的 Long-Form Factuality 工具，用于评估大语言模型在长文本生成中的事实准确性。

环境准备

• 操作系统: Linux, macOS 或 Windows (WSL 推荐)
• Python 版本: 3.10 或更高
• 依赖管理: 推荐使用 conda 进行环境隔离
• API 密钥: 若需复现 OpenAI 或 Anthropic 模型的基准测试，需准备相应的 API Key

提示：国内用户安装 Python 包时，建议指定清华或阿里镜像源以加速下载。

安装步骤

1. 克隆仓库

   git clone https://github.com/google-deepmind/long-form-factuality.git
   cd long-form-factuality
   

2. 创建并激活 Conda 环境

   conda create --name longfact python=3.10
   conda activate longfact
   

3. 安装依赖包 默认源安装（若速度慢请参照下方镜像源方案）：

   pip install -r requirements.txt
   

   🇨🇳 国内加速方案（推荐）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 配置 API 密钥（仅基准测试需要）

若需运行模型基准测试，请编辑 common/shared_config.py 文件，填入您的 API Key。

注意：请勿将包含密钥的文件提交至公共代码库。

2. 获取模型响应

运行主实验管道，生成模型对 LongFact 提示集的回复：

python -m main.pipeline

生成的结果通常保存为 JSON 文件，记录提示词与模型回复的对应关系。

3. 使用 SAFE 进行评估

利用搜索增强事实性评估器 (SAFE) 对上述生成的回复进行自动评分。请将上一步生成的 .json 文件路径替换到 --result_path 参数中：

python -m eval.run_eval \
    --result_path=path/to/your/results.json

4. 验证安装（可选）

运行单元测试以确保环境配置正确：

python -m unittest discover -s ./ -p "*_test.py"