---

RAG-FiT 是一个库，旨在通过在专门构建的 RAG 增强数据集上微调模型，来提升大语言模型利用外部信息的能力。该库可以根据给定的 RAG 技术帮助创建训练数据，支持使用参数高效微调（PEFT）轻松训练模型，并最终帮助用户使用各种专为 RAG 设计的指标来衡量性能提升。该库具有模块化设计，可通过配置文件自定义工作流。此前名为 RAG Foundry。

欢迎提出评论、建议、问题和拉取请求！❤️

安装

克隆并运行：

pip install -e .

也可以安装可选包：

pip install -e .[haystack]
pip install -e .[deepeval]

快速入门

如需一个简单、端到端的示例，请参阅 PubmedQA 教程。

概述

RAG-FiT 框架能够快速原型化和实验各种 RAG 设置与配置，包括数据选择与过滤、处理、检索、排序、查询改写、提示生成、训练、推理、输出处理以及评估。该库由四个模块组成：数据集创建、训练、推理和评估。

• 数据集创建：处理模块负责创建数据集，持久化 RAG 交互过程，以便用于 RAG 训练和推理。RAG 交互包括加载数据、列归一化、数据聚合（少样本生成）、使用外部工具和框架进行信息检索、API 集成、基于模板的提示生成以及其他形式的预处理。数据会以一致的、模型无关的输入-输出格式保存，并附带所有其他字段和元数据。详情请参阅 Processing.md。

• 训练：利用 PEFT 进行高效训练，结合 TRL（例如监督式微调），用户可以对任何模型在增强的数据集上进行训练。训练基于完成序列进行。训练好的模型可以上传至 Hugging Face Hub。详情请参阅 Training.md。

• 推理：使用增强的数据集，借助已训练或未训练的语言模型生成预测。详情请参阅 Inference.md。

• 评估：对推理模块生成的输出进行评估。用户可以提供要运行的指标列表；自定义指标也可轻松实现。当前支持的指标包括 EM、F1、ROUGE、BERTScore、Deepeval、RAGAS、HF evaluate 以及分类指标。这些指标可以是 局部的——针对每个样本单独计算，也可以是 全局的——针对整个数据集计算，例如召回率。评估指标可以利用数据集中任意特征，如检索结果、推理过程、引用和归属信息等，而不仅限于输入和输出文本。详情请参阅 Evaluation.md。

运行

四个模块分别以脚本形式呈现：顶层目录下的 processing.py、training.py、inference.py 和 evaluation.py。每次调用的格式均为 python SCRIPT options...。

该库使用 Hydra 配置工具；它支持分层配置、在命令行中轻松覆盖配置值，以及远程运行多个任务（例如与 SLURM 和 Ray 的集成）。它采用“配置即代码”的方法，能够根据配置实例化 Python 类（_target_ 关键字指定了在特定上下文中使用的 Python 类）。

每个模块在 configs 文件夹中都有默认配置。可以通过以下方式覆盖配置文件：

python processing -cp configs/paper -cn processing-asqa-retrieval

也可以单独覆盖某些参数：

python processing -cp configs/paper -cn processing-asqa-retrieval   \
       output_path=/store/data/here                                 \
       cache=true

如需完整的配置集合，特别是为了复现论文中使用 ASQA 数据集的实验，请参阅 Paper 文件夹中的配置。

引用

如果本文对您的研究有所帮助，请引用我们的论文：RAG Foundry: 用于增强 LLMs 检索增强生成能力的框架。

@article{fleischerRAGFoundryFramework2024,
  title =        {{RAG} {Foundry}: {A} {Framework} for {Enhancing} {LLMs} for {Retrieval} {Augmented} {Generation}},
  author =       {Fleischer, Daniel and Berchansky, Moshe and Wasserblat, Moshe and Izsak, Peter},
  year =         2024,
  note =         {arXiv:2408.02545 [cs]},
  annote =       {注释：10页},
  url =          {http://arxiv.org/abs/2408.02545},
  publisher =    {arXiv},
}

许可证

代码采用 Apache 2.0 许可证 许可。

免责声明

本项目并非英特尔官方产品。

RAG-FiT 快速上手指南

RAG-FiT 是一个专为提升大语言模型（LLM）利用外部信息能力而设计的库。它通过基于特制的 RAG 增强数据集对模型进行微调，支持数据创建、参数高效微调（PEFT）、推理及多维度评估的全流程工作流。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2）。
• Python 版本：推荐 Python 3.9 或更高版本。
• 前置依赖：
  • git：用于克隆代码库。
  • pip：Python 包管理工具。
  • GPU 环境（可选但推荐）：若需进行模型训练，建议安装适配的 CUDA 驱动及 PyTorch GPU 版本。

安装步骤

1. 克隆仓库

首先从 GitHub 克隆项目代码：

git clone https://github.com/IntelLabs/RAG-FiT.git
cd RAG-FiT

2. 安装核心库

使用可编辑模式安装基础包：

pip install -e .

3. 安装可选组件（按需）

根据您的需求，可以选择安装特定的集成包：

• Haystack 集成（用于检索流程）：

  pip install -e .[haystack]
  

• DeepEval 集成（用于高级评估指标）：

  pip install -e .[deepeval]
  

提示：国内开发者若遇到下载缓慢问题，可使用清华或阿里镜像源加速安装： pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

RAG-FiT 的工作流由四个核心模块组成：数据处理、训练、推理和评估。所有操作均通过命令行脚本配合 Hydra 配置文件完成。

1. 配置管理

库中提供了默认配置文件，位于 configs/ 目录。您可以直接使用现有配置或通过命令行覆盖特定参数。

2. 运行数据处理 (Dataset Creation)

构建包含 RAG 交互信息（如检索结果、Prompt 模板等）的数据集：

python processing.py -cp configs/paper -cn processing-asqa-retrieval

如需自定义输出路径或开启缓存，可通过命令行参数覆盖：

python processing.py -cp configs/paper -cn processing-asqa-retrieval \
       output_path=/store/data/here \
       cache=true

3. 运行模型训练 (Training)

使用生成的增强数据集，结合 PEFT（参数高效微调）技术训练模型：

python training.py -cp configs/paper -cn training-config-example

(注：请将 training-config-example 替换为实际存在的训练配置文件名)

4. 运行推理 (Inference)

使用训练好的模型（或原始模型）生成预测结果：

python inference.py -cp configs/paper -cn inference-config-example

5. 运行评估 (Evaluation)

对推理结果进行评估，支持 EM、F1、ROUGE、BERTScore、RAGAS 等多种指标：

python evaluation.py -cp configs/paper -cn evaluation-config-example

完整示例参考

对于端到端的完整演示，建议参考官方提供的 PubmedQA 教程：

• 文档路径：./docs/pubmed.md
• 复现论文实验配置：查看 ./configs/paper 文件夹中的 ASQA 数据集相关配置。