ARES：一种用于检索增强生成系统的自动化评估框架

目录： 安装 | 要求 | 快速入门 | 引用

ARES 是一个用于评估检索增强生成（RAG）模型的开创性框架。该自动化流程结合了合成数据生成与微调分类器，能够高效地评估上下文相关性、答案忠实性和答案相关性，从而最大限度地减少对大量人工标注的需求。ARES 采用合成查询生成和预测驱动推理（PPI），在统计置信度下提供准确的评估结果。

💬 小问答

---

ARES 在 RAG 模型中评估哪些方面？

ARES 对检索增强生成（RAG）模型进行全面评估，重点考察系统在上下文相关性、答案忠实性和答案相关性方面的表现。这一全面的评估确保能够完整地了解 RAG 系统的性能。

ARES 如何实现评估过程的自动化？

ARES 通过利用微调分类器和合成数据，最大限度地减少了人工标注的需求。其 PPI 组件——预测驱动推理，能够根据模型响应的变异性进一步优化评估，并为结果提供统计置信度。借助微调分类器和合成生成的数据，ARES 在大幅降低人工标注需求的同时，仍能提供准确可靠的评估结果。

ARES 能否用于我的自定义 RAG 模型？

当然可以。ARES 是一种与模型无关的工具，允许您从自己的文档中生成合成查询和答案。使用 ARES，您可以对这些由您的 RAG 模型生成的查询和答案进行评估。 ​

⚙️ 安装

---

​ 要安装 ARES，请运行以下命令： ​

pip install ares-ai

​ 可选：使用以下命令初始化 OpenAI 或 TogetherAI 的 API 密钥：

export OPENAI_API_KEY=<your key here>
export TOGETHER_API_KEY=<your key here>

📝 要求

---

要使用 ARES 对您的 RAG 系统进行评分并与其他 RAG 配置进行比较，您需要三个组成部分：

• 一组经过人工标注的查询、文档和答案三元组组成的偏好验证集，用于评估各项指标（例如上下文相关性、答案忠实性和/或答案相关性）。建议至少包含 50 个示例，但几百个示例更为理想。
• 一组用于评分上下文相关性、答案忠实性和/或答案相关性的少样本示例。
• 一个规模更大的未标注查询-文档-答案三元组集合，由您的 RAG 系统输出，用于评分。

---

要开始使用 ARES，您需要先设置配置。下面是一个 ARES 配置的示例！

请逐条复制粘贴，即可体验 ARES 的实际效果！

---

📥 下载数据集

---

使用以下命令可快速获取入门所需的文件！其中包括用于人工评分和合成查询生成的“few_shot_prompt”文件，以及已标注和未标注的数据集。

wget https://raw.githubusercontent.com/stanford-futuredata/ARES/main/datasets/example_files/nq_few_shot_prompt_for_judge_scoring.tsv
wget https://raw.githubusercontent.com/stanford-futuredata/ARES/main/datasets/example_files/nq_few_shot_prompt_for_synthetic_query_generation.tsv
wget https://raw.githubusercontent.com/stanford-futuredata/ARES/main/datasets/example_files/nq_labeled_output.tsv
wget https://raw.githubusercontent.com/stanford-futuredata/ARES/main/datasets/example_files/nq_unlabeled_output.tsv

可选：您还可以运行以下命令来获取完整的 NQ 数据集！（37.3 GB）

from ares import ARES
ares = ARES() 
ares.KILT_dataset("nq")

# 获取包括 0.5、0.6、0.7 等比例的 NQ 数据集。
# 为了我们的快速入门指南，我们将 nq_ratio_0.5 重命名为 nq_unlabeled_output 和 nq_labeled_output。

---

🚀 快速入门 - #1

---

要开始使用 ARES 的 PPI，您需要先设置配置。下面是一个 ARES 配置的示例！

只需按步骤复制粘贴，即可看到 ARES 的实际效果！

步骤 1) 运行以下代码以使用 GPT-3.5 获取 UES/IDP 分数！

from ares import ARES

ues_idp_config = {
    "in_domain_prompts_dataset": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "unlabeled_evaluation_set": "nq_unlabeled_output.tsv", 
    "model_choice" : "gpt-3.5-turbo-0125"
} 

ares = ARES(ues_idp=ues_idp_config)
results = ares.ues_idp()
print(results)
# {'Context Relevance Scores': [Score], 'Answer Faithfulness Scores': [Score], 'Answer Relevance Scores': [Score]}

步骤 2) 运行以下代码以使用 GPT-3.5 获取 ARES 的 PPI 分数！

ppi_config = { 
    "evaluation_datasets": ['nq_unlabeled_output.tsv'], 
    "few_shot_examples_filepath": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "llm_judge": "gpt-3.5-turbo-1106",
    "labels": ["Context_Relevance_Label"], 
    "gold_label_path": "nq_labeled_output.tsv", 
}

ares = ARES(ppi=ppi_config)
results = ares.evaluate_RAG()
print(results)

---

🚀 快速入门 - #2

---

步骤 1) 运行以下代码以查看 GPT-3.5 在 NQ 未标注数据集上的准确率！

from ares import ARES

ues_idp_config = {
    "in_domain_prompts_dataset": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "unlabeled_evaluation_set": "nq_unlabeled_output.tsv", 
    "model_choice" : "gpt-3.5-turbo-0125"
} 

ares = ARES(ues_idp=ues_idp_config)
results = ares.ues_idp()
print(results)

# {'上下文相关性评分': [分数], '答案忠实度评分': [分数], '答案相关性评分': [分数]}

第2步) 运行以下代码，查看ARES的合成数据生成效果！

from ares import ARES

synth_config = { 
    "文档文件路径": ["nq_labeled_output.tsv"] ,
    "少样本提示文件名": "nq_few_shot_prompt_for_synthetic_query_generation.tsv",
    "合成查询文件名": ["synthetic_queries_1.tsv"], 
    "采样文档数量": 6189
}

ares_module = ARES(synthetic_query_generator=synth_config)
results = ares_module.generate_synthetic_data()
print(results)

---

第3步) 运行以下代码，查看ARES的训练分类器效果！

from ares import ARES

classifier_config = {
    "训练数据集": ["synthetic_queries_1.tsv"], 
    "验证集": ["nq_labeled_output.tsv"], 
    "标签列": ["Context_Relevance_Label"], 
    "训练轮数": 10, 
    "耐心值": 3, 
    "学习率": 5e-6,
    "分配的批次大小": 1,  
    "梯度累积倍数": 32,  
}

ares = ARES(classifier_model=classifier_config)
results = ares.train_classifier()
print(results)

注意：此代码会为训练好的分类器创建检查点。训练可能需要一些时间。您可在此处下载我们联合训练的上下文相关性检查点： 下载检查点

---

第4步) 运行以下代码，查看ARES的PPI效果！

from ares import ARES

ppi_config = { 
    "评估数据集": ['nq_unlabeled_output.tsv'], 
    "检查点": ["Context_Relevance_Label_nq_labeled_output_date_time.pt"], 
    "RAG类型": "question_answering", 
    "标签": ["Context_Relevance_Label"], 
    "黄金标准标签路径": "nq_labeled_output.tsv", 
}

ares = ARES(ppi=ppi_config)
results = ares.evaluate_RAG()
print(results)

# 输出应为： 
""" 
上下文相关性标签评分
ARES排名
ARES预测值：[0.6056978059262574]
ARES置信区间：[[0.547, 0.664]]
评估集中的示例数量：[4421]
真实性能：[0.6]
ARES LLM法官对真实标签的准确率：[0.789]
用于PPI的标注示例：300
"""

🚀 使用vLLM进行本地模型运行

ARES支持vLLM，允许在本地运行LLM模型，从而提升隐私保护并实现离线运行。以下是使用vLLM运行ARES的UES/IDP和PPI的步骤！

1) UES/IDP w/ vLLM

from ares import ARES

ues_idp_config = {
    "领域内提示数据集": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "未标注评估集": "nq_unlabeled_output.tsv", 
    "模型选择": "meta-llama/Llama-2-13b-hf", # 指定vLLM模型
    "vllm": True, # 将vLLM设置为True 
    "主机URL": "http://0.0.0.0:8000/v1" # 替换为托管模型的服务器地址，并加上"/v1"
} 

ares = ARES(ues_idp=ues_idp_config)
results = ares.ues_idp()
print(results)

---

2) PPI w/ vLLM

from ares import ARES

ppi_config = { 
    "评估数据集": ['nq_unlabeled_output.tsv'], 
    "少样本示例文件路径": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "LLM法官": "meta-llama/Llama-2-13b-hf", # 指定vLLM模型
    "标签": ["Context_Relevance_Label"], 
    "黄金标准标签路径": "nq_labeled_output.tsv",
    "vllm": True, # 将vLLM设置为True 
    "主机URL": "http://0.0.0.0:8000/v1" # 替换为托管模型的服务器地址，并加上"/v1"
}

ares = ARES(ppi=ppi_config)
results = ares.evaluate_RAG()
print(results)

更多详情请参阅我们的文档。

结果复现

我们在synthetic_datasets中包含了关键实验结果的合成数据集。用于生成和评估的少样本提示包含在datasets中。此外，论文中还提供了微调LLM法官的说明。如有任何疑问，请联系jonsaadfalcon@stanford.edu或manihani@stanford.edu。

引用

如需引用我们的工作，请使用以下BibTeX格式：

@misc{saadfalcon2023ares,
      title={ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems}, 
      author={Jon Saad-Falcon and Omar Khattab and Christopher Potts and Matei Zaharia},
      year={2023},
      eprint={2311.09476},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

附录

不使用OpenAI API时的机器要求与设置

机器要求

• 硬盘可用空间超过100 GB
• GPU
  • 可用：A100（例如Azure上的Standard_NC24ads_A100_v4）
  • 不可用：
    • 我们于2023年12月17日分别测试了Standard_NC6s_v3和Standard_NC12s_v3，均遇到了以下错误：torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 160.00 MiB (GPU 0; 15.77 GiB total capacity; 15.12 GiB already allocated; 95.44 MiB free; 15.12 GiB reserved in total by PyTorch)

机器设置

以运行Linux（ubuntu 20.04）的Azure虚拟机为例，您需要执行以下操作：

• 安装conda
  • 第一组命令（可复制多行）
    • wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
    • chmod +x Miniconda3-latest-Linux-x86_64.sh
    • ./Miniconda3-latest-Linux-x86_64.sh -b
  • 第二组命令（可复制多行）
    • export PATH="~/miniconda3/bin:$PATH"
    • conda init
• 安装gcc
  • sudo apt-get -y update
  • sudo apt-get -y upgrade
  • sudo apt-get -y install build-essential
  • sudo apt-get -y install libpcre3-dev
• 安装NVIDIA驱动程序
  • sudo apt install ubuntu-drivers-common -y
  • sudo ubuntu-drivers autoinstall
  • sudo reboot
  • 再次通过SSH登录，并运行nvidia-smi确认安装成功。
• 切换到ARES文件夹，并按照README中的其余步骤操作。

ARES 快速上手指南

环境准备

系统要求

• Python 3.8+ 环境
• 至少 100GB 可用磁盘空间
• GPU 支持（推荐 A100 或更高显存型号，如 Azure 的 Standard_NC24ads_A100_v4）
• Linux 或 macOS 系统

前置依赖

# 安装依赖（推荐使用国内镜像加速）
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch transformers

安装步骤

# 安装 ARES 框架
pip install ares-ai

# 可选：配置 API 密钥（需替换为实际密钥）
export OPENAI_API_KEY=<your_key_here>
export TOGETHER_API_KEY=<your_key_here>

基本使用

快速运行示例

from ares import ARES

# UES/IDP 评估示例
ues_idp_config = {
    "in_domain_prompts_dataset": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "unlabeled_evaluation_set": "nq_unlabeled_output.tsv", 
    "model_choice": "gpt-3.5-turbo-0125"
}

ares = ARES(ues_idp=ues_idp_config)
results = ares.ues_idp()
print(results)

# PPI 评估示例
ppi_config = { 
    "evaluation_datasets": ["nq_unlabeled_output.tsv"], 
    "few_shot_examples_filepath": "nq_few_shot_prompt_for_judge_scoring.tsv",
    "llm_judge": "gpt-3.5-turbo-1106",
    "labels": ["Context_Relevance_Label"], 
    "gold_label_path": "nq_labeled_output.tsv", 
}

ares = ARES(ppi=ppi_config)
results = ares.evaluate_RAG()
print(results)

注意：需提前下载示例数据文件（nq_few_shot_prompt_for_judge_scoring.tsv 等），可通过以下命令获取：

wget https://raw.githubusercontent.com/stanford-futuredata/ARES/main/datasets/example_files/nq_few_shot_prompt_for_judge_scoring.tsv