EasyRAG：用于自动化网络运维的高效检索增强生成框架

目录

• 概述
• 要求
• 复现
• 使用
• 项目结构
• 引用
• 致谢

概述

本文提出了EasyRAG，一个简单、轻量且高效的检索增强生成框架，专为自动化网络运维设计。我们的框架具有三大优势。首先是精准的问题回答能力。我们设计了一套直观的RAG方案，基于以下四个核心组件：(1) 特定的数据处理流程；(2) 双路稀疏检索用于粗排；(3) LLM重排序器进行精排；(4) LLM生成并优化答案。该方法在初赛GLM4赛道中获得第一名，在半决赛GLM4赛道中获得第二名。其次，部署简便。我们的方法主要由BM25检索和BGE-reranker重排序组成，无需对任何模型进行微调，显存占用极低，易于部署且可扩展性强；我们提供了一个灵活的代码库，包含多种检索与生成策略，方便用户自定义流程。最后是高效的推理性能。针对整个粗排、精排和生成过程，我们设计了一套高效的推理加速方案，能够在保持良好准确率的同时显著降低RAG的推理延迟；每项加速技术都可以无缝接入RAG流程中的任意环节，持续提升系统的整体效率。

要求

EasyRAG需要Python 3.10.14以及至少一块16GB显存的GPU。

您需要将src/easyrag.yaml中的llm_keys替换为您自己的GLM密钥。

pip install -r requirements.txt
git lfs install
bash scripts/download.sh # 下载模型
bash scripts/process.sh # 处理zedx数据

复现

1. 直接运行

cd src
# 运行挑战赛题目
python3 main.py 
# 复制答案文件
cp submit_result.jsonl ../answer.jsonl

2. 使用Docker运行

chmod +x scripts/run.sh
./scripts/run.sh

使用

1. API

cd src
uvicorn api:app --host 0.0.0.0 --port 8000 --workers 1

2. WebUI

您需要先运行API

cd src
streamlit run webui.py

项目结构

仅对可能在半决赛中使用的代码进行说明。

- src
    - custom
        - splitter.py # 自定义分块器
        - hierarchical.py # 层次化分块器
        - transformation.py # 文件路径和标题提取
        - embeddings # 为GTE实现独立的嵌入类
            - ...
        - retrievers.py # 基于Qdrant的稠密检索器、中文BM25检索器的实现，以及结合RRF和简单合并的融合检索器
        - rerankers.py # 为BGE系列重排序器单独实现若干类，便于自定义使用
        - template.py # QA提示模板
    - pipeline
        - ingestion.py # 数据处理流程：数据读取、元数据提取、文档分块、文档编码、元数据过滤、向量数据库构建
        - pipeline.py # EasyRAG Pipeline类，包含各类数据和模型的初始化，以及自定义RAG Pipeline定义
        - rag.py # RAG相关的一些工具函数
        - qa.py # 读取问题文件并保存答案
    - utils # 针对中国场景适配的HF定制LLM，直接从对应模型的HF链接中复制而来。
        - ...
    - configs
        - easyrag.yaml # 配置文件
    - data
        - nltk_data # NLTK中的停用词表和分词器数据
        - hit_stopwords.txt # 哈工大中文停用词表
        - imgmap_filtered.json # 由get_ocr_data.py处理后得到
        - question.jsonl # 半决赛测试集
    - main.py # 主函数及入口文件
    - api.py # FastAPI服务
    - preprocess_zedx.py # zedx数据预处理
    - get_ocr_data.py # 使用PaddleOCR+GLM4V提取图像内容
    - submit.py # 向挑战赛提交结果
- requirements.txt # Python依赖
- run.sh # Docker运行脚本
- Dockerfile # Docker配置文件

引用

@article{feng2024easyrag,
  title={EasyRAG: Efficient Retrieval-Augmented Generation Framework for Automated Network Operations},
  author={Feng, Zhangchi, Kuang Dongdong, Wang Zhongyuan, Nie Zhijie, Zheng Yaowei and Zhang, Richong},
  journal={arXiv preprint arXiv:2410.10315},
  year={2024}
}

致谢

感谢CCF AIOps 2024挑战赛组委会，他们提供了高质量的数据和良好的竞赛氛围。

星标历史

EasyRAG 快速上手指南

EasyRAG 是一个专为自动化网络运营设计的轻量级、高效检索增强生成（RAG）框架。它无需微调模型，仅需少量显存即可部署，支持双路稀疏检索与 LLM 重排序，在保证高准确率的同时显著降低推理延迟。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.10.14
• 硬件要求：至少 1 块 GPU，显存 ≥ 16GB
• 前置依赖：
  • Git 及 Git LFS (用于下载大模型文件)
  • GLM API Key (需在配置文件中填写)

安装步骤

1. 克隆项目并安装依赖

git clone https://github.com/BUAADreamer/EasyRAG.git
cd EasyRAG
pip install -r requirements.txt

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 初始化 Git LFS 并下载模型

git lfs install
bash scripts/download.sh

3. 数据处理

运行脚本处理 ZedX 数据集：

bash scripts/process.sh

4. 配置 API Key

编辑 src/easyrag.yaml 文件，将 llm_keys 字段替换为您自己的 GLM API Key。

# src/easyrag.yaml
llm_keys:
  - "your_glm_api_key_here"

基本使用

方式一：直接运行测试集

进入 src 目录，直接运行主程序处理挑战赛问题并生成答案文件：

cd src
python3 main.py 
cp submit_result.jsonl ../answer.jsonl

方式二：启动 API 服务与 Web 界面

如果您希望通过 API 或图形界面进行交互：

1. 启动后端 API：

   cd src
   uvicorn api:app --host 0.0.0.0 --port 8000 --workers 1
   

2. 启动前端 WebUI（需保持 API 运行）： 打开新终端窗口：

   cd src
   streamlit run webui.py
   

   随后在浏览器访问显示的本地地址即可使用。

方式三：使用 Docker 运行

如果您偏好容器化部署，可直接使用提供的脚本：

chmod +x scripts/run.sh
./scripts/run.sh