AutoRAG

一款用于自动为您的数据寻找最优 RAG 流程的 RAG 自动机器学习工具。

市面上有许多 RAG 流程和模块，但您并不清楚哪种流程最适合“您自己的数据”和“您的应用场景”。手动尝试并评估所有 RAG 模块既耗时又困难。然而，如果不进行这样的尝试，您将永远无法确定哪种 RAG 流程最符合您的实际需求。

AutoRAG 是一款专为“您的数据”寻找最优 RAG 流程的工具。您可以使用自己的评估数据自动评估多种 RAG 模块组合，并找到最适合您应用场景的 RAG 流程。

AutoRAG 提供了一种简单的方式来评估大量的 RAG 模块组合。立即试用，找到最适合您应用场景的 RAG 流程。

请查阅我们的 📖 文档！！

---

YouTube 教程

https://github.com/Marker-Inc-Korea/AutoRAG/assets/96727832/c0d23896-40c0-479f-a17b-aa2ec3183a26

默认静音，请开启声音以收听旁白

您也可以在 YouTube 上观看。

在 HuggingFace Space 中使用 AutoRAG 🚀

• 💬 简单 RAG 聊天机器人
• ✏️ AutoRAG 数据生成
• 🚀 AutoRAG RAG 流程优化

Colab 教程

• 步骤 1：AutoRAG 基础 | 优化您的 RAG 流程
• 步骤 2：数据生成 | 为 RAG 优化创建您自己的数据
• 步骤 3：使用自定义 LLM 和嵌入模型 | 使用自定义模型

目录

• 快速安装
• 数据生成
  • 解析
  • 分块
  • 问答对生成
• RAG 优化
  • AutoRAG 如何优化 RAG 流程？
  • 指标
  • 快速入门
    • 设置 YAML 文件
    • 运行 AutoRAG
    • 运行仪表板
    • 部署您最优的 RAG 流程
• 常见问题

快速安装

我们建议使用 Python 3.10 或更高版本来运行 AutoRAG。

pip install AutoRAG

如果您希望使用本地模型，则需要安装 GPU 版本。

pip install "AutoRAG[gpu]"

或者，如果您只需要解析功能，可以使用解析版本：

pip install "AutoRAG[gpu,parse]"

数据生成

RAG 优化需要两种类型的数据：问答数据集和语料库数据集。

1. 问答 数据集文件 (qa.parquet)
2. 语料库 数据集文件 (corpus.parquet)

问答 数据集对于准确可靠的评估和优化至关重要。

语料库 数据集则直接关系到 RAG 的性能。这是因为 RAG 会利用语料库检索文档，并基于这些文档生成答案。

📌 支持的数据生成模块

• 支持的解析模块列表
• 支持的分块模块列表

快速入门

1. 解析

设置 YAML 文件

modules:
  - module_type: langchain_parse
    parse_method: pdfminer

您也可以同时使用多个解析模块。不过，在这种情况下，每次解析结果都需要返回一个新的进程。

开始解析

只需几行代码，即可解析您的原始文档。

from autorag.parser import Parser

parser = Parser(data_path_glob="your/data/path/*")
parser.start_parsing("your/path/to/parse_config.yaml")

2. 分块

设置 YAML 文件

modules:
  - module_type: llama_index_chunk
    chunk_method: Token
    chunk_size: 1024
    chunk_overlap: 24
    add_file_name: en

您同样可以同时使用多个分块模块。在这种情况下，您需要先用一个语料库创建问答对，再将剩余的语料库映射到问答数据中。如果分块方法不同，检索基准也会有所差异，因此我们需要将其重新映射到问答数据集中。

开始分块

只需几行代码，即可对解析后的结果进行分块。

from autorag.chunker import Chunker

chunker = Chunker.from_parquet(parsed_data_path="your/parsed/data/path")
chunker.start_chunking("your/path/to/chunk_config.yaml")

3. QA 数据集创建

只需几行代码即可创建 QA 数据集。

import pandas as pd
from llama_index.llms.openai import OpenAI

from autorag.data.qa.filter.dontknow import dontknow_filter_rule_based
from autorag.data.qa.generation_gt.llama_index_gen_gt import (
	make_basic_gen_gt,
	make_concise_gen_gt,
)
from autorag.data.qa.schema import Raw, Corpus
from autorag.data.qa.query.llama_gen_query import factoid_query_gen
from autorag.data.qa.sample import random_single_hop

llm = OpenAI()
raw_df = pd.read_parquet("your/path/to/parsed.parquet")
raw_instance = Raw(raw_df)

corpus_df = pd.read_parquet("your/path/to/corpus.parquet")
corpus_instance = Corpus(corpus_df, raw_instance)

initial_qa = (
	corpus_instance.sample(random_single_hop, n=3)
	.map(
		lambda df: df.reset_index(drop=True),
	)
	.make_retrieval_gt_contents()
	.batch_apply(
		factoid_query_gen,  # 查询生成
		llm=llm,
	)
	.batch_apply(
		make_basic_gen_gt,  # 答案生成（基础版）
		llm=llm,
	)
	.batch_apply(
		make_concise_gen_gt,  # 答案生成（简洁版）
		llm=llm,
	)
	.filter(
		dontknow_filter_rule_based,  # 过滤“不知道”情况
		lang="en",
	)
)

initial_qa.to_parquet('./qa.parquet', './corpus.parquet')

RAG 优化

AutoRAG 如何优化 RAG 流程？

以下是仅显示节点的 AutoRAG RAG 结构图。

以下是展示所有节点和模块的图像。

📌 支持 RAG 优化的节点与模块

• 支持的 RAG 模块列表

指标

AutoRAG 中每个节点所使用的指标如下所示。

• 支持的指标列表

以下是 AutoRAG 所支持指标的详细信息。

• 检索指标
• 检索令牌指标
• 生成指标

快速入门

1. 设置 YAML 文件

首先，您需要为您的 RAG 优化设置配置 YAML 文件。

我们强烈建议初学者使用预先准备好的配置 YAML 文件。

• 获取示例 YAML
  • 示例 YAML 指南
• 自定义 YAML 指南

以下是一个使用三个检索节点、prompt_maker 和 generator 节点的配置 YAML 文件示例。

node_lines:
  - node_line_name: retrieve_node_line
    nodes:
      - node_type: lexical_retrieval
        strategy:
          metrics: [ retrieval_f1, retrieval_recall, retrieval_ndcg, retrieval_mrr ]
        top_k: 3
        modules:
          - module_type: bm25
      - node_type: semantic_retrieval
        strategy:
          metrics: [ retrieval_f1, retrieval_recall, retrieval_ndcg, retrieval_mrr ]
        top_k: 3
        modules:
          - module_type: vectordb
            vectordb: default
      - node_type: hybrid_retrieval
        strategy:
          metrics: [ retrieval_f1, retrieval_recall, retrieval_ndcg, retrieval_mrr ]
        top_k: 3
        modules:
          - module_type: hybrid_rrf
            weight_range: (4,80)
  - node_line_name: post_retrieve_node_line
    nodes:
      - node_type: prompt_maker  # 设置提示生成器节点
        strategy:
          metrics: # 设置生成指标
            - metric_name: meteor
            - metric_name: rouge
            - metric_name: sem_score
              embedding_model: openai
        modules:
          - module_type: fstring
            prompt: "阅读段落并回答给定的问题。 \n 问题：{query} \n 段落：{retrieved_contents} \n 答案："
      - node_type: generator  # 设置生成器节点
        strategy:
          metrics: # 设置生成指标
            - metric_name: meteor
            - metric_name: rouge
            - metric_name: sem_score
              embedding_model: openai
        modules:
          - module_type: openai_llm
            llm: gpt-4o-mini
            batch: 16

2. 运行 AutoRAG

只需几行代码即可评估您的 RAG 流程。

from autorag.evaluator import Evaluator

evaluator = Evaluator(qa_data_path='your/path/to/qa.parquet', corpus_data_path='your/path/to/corpus.parquet')
evaluator.start_trial('your/path/to/config.yaml')

或者您也可以使用命令行界面：

autorag evaluate --config your/path/to/default_config.yaml --qa_data_path your/path/to/qa.parquet --corpus_data_path your/path/to/corpus.parquet

运行完成后，您当前目录下会生成多个文件和文件夹。 在以数字命名的试验文件夹中（如 0），您可以查看 summary.csv 文件，其中总结了评估结果以及适合您数据的最佳 RAG 流程。

更多详细信息，请参阅文件夹结构的说明： 这里。

3. 运行仪表板

您可以通过运行仪表板轻松查看结果。

autorag dashboard --trial_dir /your/path/to/trial_dir

示例仪表板

4. 部署您的最佳 RAG 流程

4-1. 直接作为代码运行

您可以直接从试验文件夹中使用最佳的 RAG 流程。试验文件夹是运行仪表板时使用的目录。（如 0、1、2、…）

from autorag.deploy import Runner

runner = Runner.from_trial_folder('/your/path/to/trial_dir')
runner.run('your question')

4-2. 作为 API 服务器运行

您可以将此流水线作为 API 服务器运行。

API 端点请参见此处。

import nest_asyncio
from autorag.deploy import ApiRunner

nest_asyncio.apply()

runner = ApiRunner.from_trial_folder('/your/path/to/trial_dir')
runner.run_api_server()

autorag run_api --trial_dir your/path/to/trial_dir --host 0.0.0.0 --port 8000

该命令行工具使用提取的配置 YAML 文件。如果您想了解更多，请参阅此处。

4-3. 作为 Web 界面运行

您也可以将此流水线作为 Web 界面运行。

Web 界面请参见此处。

autorag run_web --trial_path your/path/to/trial_path

示例 Web 界面

☎️ 常见问题解答

💻 硬件规格

⭐ 运行 AutoRAG

🍯 技巧与窍门

☎️ 故障排除

感谢鸣谢

公司

个人

• Shubham Saboo
• Kalyan KS

---

✨ 贡献者 ✨

感谢以下各位优秀人士：

贡献

我们正在以开源方式开发 AutoRAG。

因此，本项目欢迎各种贡献和建议。欢迎您参与其中。

此外，您还可以查阅我们的详细文档此处。

引用

@misc{kim2024autoragautomatedframeworkoptimization,
      title={AutoRAG: Automated Framework for optimization of Retrieval Augmented Generation Pipeline},
      author={Dongkyu Kim and Byoungwook Kim and Donggeon Han and Matouš Eibich},
      year={2024},
      eprint={2410.20878},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.20878},
}

AutoRAG 快速上手指南

AutoRAG 是一款 RAG（检索增强生成）AutoML 工具，旨在自动为您的数据寻找最优的 RAG 流水线。它支持自动评估多种 RAG 模块组合，帮助您快速确定最适合自身业务场景的方案。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：推荐 Python 3.10 或更高版本
• 硬件要求：
  • 基础使用：CPU 即可
  • 本地模型运行或大规模数据处理：建议配备 NVIDIA GPU
• 前置依赖：确保已安装 pip 包管理工具

安装步骤

1. 基础安装

适用于大多数标准场景：

pip install AutoRAG

2. GPU 加速版（推荐）

如果您计划使用本地大模型或进行高性能计算：

pip install "AutoRAG[gpu]"

3. 完整功能版（含解析模块）

如果您需要处理 PDF 等原始文档进行数据解析：

pip install "AutoRAG[gpu,parse]"

提示：国内用户若下载缓慢，可添加清华源或阿里源加速： pip install AutoRAG -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

AutoRAG 的核心工作流分为三个阶段：数据创建 -> 配置流水线 -> 自动优化评估。

第一步：准备数据

AutoRAG 需要两种核心数据文件：

1. QA 数据集 (qa.parquet)：用于评估的问题与标准答案。
2. 语料库数据集 (corpus.parquet)：用于检索的知识文档切片。

您可以使用 AutoRAG 内置模块从原始文档生成这些数据，或直接加载已有的 parquet 文件。以下是一个通过代码生成 QA 数据的简化示例：

import pandas as pd
from llama_index.llms.openai import OpenAI
from autorag.data.qa.schema import Raw, Corpus
from autorag.data.qa.query.llama_gen_query import factoid_query_gen
from autorag.data.qa.generation_gt.llama_index_gen_gt import make_basic_gen_gt, make_concise_gen_gt
from autorag.data.qa.filter.dontknow import dontknow_filter_rule_based
from autorag.data.qa.sample import random_single_hop

# 初始化 LLM
llm = OpenAI()

# 加载已解析和切片的数据 (假设已完成 parsing 和 chunking)
raw_df = pd.read_parquet("your/path/to/parsed.parquet")
raw_instance = Raw(raw_df)

corpus_df = pd.read_parquet("your/path/to/corpus.parquet")
corpus_instance = Corpus(corpus_df, raw_instance)

# 生成 QA 对并保存
initial_qa = (
	corpus_instance.sample(random_single_hop, n=3)
	.map(lambda df: df.reset_index(drop=True))
	.make_retrieval_gt_contents()
	.batch_apply(factoid_query_gen, llm=llm)
	.batch_apply(make_basic_gen_gt, llm=llm)
	.batch_apply(make_concise_gen_gt, llm=llm)
	.filter(dontknow_filter_rule_based, lang="en")
)

initial_qa.to_parquet('./qa.parquet', './corpus.parquet')

第二步：配置优化策略 (YAML)

创建一个配置文件（例如 config.yaml），定义您想要测试的检索器、提示词构建器和生成器组合。AutoRAG 将自动遍历这些组合并评分。

node_lines:
  - node_line_name: retrieve_node_line
    nodes:
      - node_type: lexical_retrieval
        strategy:
          metrics: [ retrieval_f1, retrieval_recall ]
        top_k: 3
        modules:
          - module_type: bm25
      - node_type: semantic_retrieval
        strategy:
          metrics: [ retrieval_f1, retrieval_recall ]
        top_k: 3
        modules:
          - module_type: vectordb
            vectordb: default
  - node_line_name: post_retrieve_node_line
    nodes:
      - node_type: prompt_maker
        strategy:
          metrics:
            - metric_name: meteor
            - metric_name: rouge
        modules:
          - module_type: fstring
            prompt: "Read the passages and answer the given question. \n Question: {query} \n Passage: {retrieved_contents} \n Answer : "
      - node_type: generator
        strategy:
          metrics:
            - metric_name: meteor
            - metric_name: rouge
        modules:
          - module_type: openai_llm
            llm: gpt-4o-mini
            batch: 16

第三步：运行评估

使用 Python 脚本或命令行启动自动优化过程。

方式 A：Python 代码

from autorag.evaluator import Evaluator

evaluator = Evaluator(qa_data_path='your/path/to/qa.parquet', corpus_data_path='your/path/to/corpus.parquet')
evaluator.start_trial('your/path/to/config.yaml')

方式 B：命令行

autorag evaluate --config your/path/to/config.yaml --qa_data_path your/path/to/qa.parquet --corpus_data_path your/path/to/corpus.parquet

第四步：查看结果与部署

运行完成后，当前目录下会生成以数字命名的试验文件夹（如 0, 1...）。

• 查看 summary.csv：包含所有测试组合的评分排名及最佳流水线配置。
• 部署：根据生成的最佳配置，您可以直接加载该流水线用于生产环境。