本仓库旨在收录关于大语言模型中检索增强生成（RAG）的前沿论文。

我们强烈鼓励希望推广其在LLM RAG领域杰出工作的研究人员提交拉取请求，以更新相关论文信息！

---

目录

• 资源
  • 研讨会与教程
  • 书籍
• 论文
  • 综述与基准测试
  • 检索增强型大语言模型
  • RAG指令微调
  • RAG上下文学习
  • RAG嵌入
  • RAG模拟器
  • RAG搜索
  • RAG长文本与记忆
  • RAG评估
  • RAG优化
  • RAG应用

---

资源

• guardian-agent-prompts - 49个经过生产环境验证的AI智能体系统提示词，适用于Claude Code多智能体编排及检索增强生成模式。采用MIT许可证。

研讨会与教程

个性化生成式AI
Zheng Chen, Ziyan Jiang, Fan Yang, Zhankui He, Yupeng Hou, Eunah Cho, Julian McAuley, Aram Galstyan, Xiaohua Hu, Jie Yang
CIKM 23 – 2023年10月 [链接]

首届基于生成模型的推荐系统研讨会
Wenjie Wang, Yong Liu, Yang Zhang, Weiwen Liu, Fuli Feng, Xiangnan He, Aixin Sun
CIKM 23 – 2023年10月 [链接]

首届生成式信息检索研讨会
Gabriel Bénédict, Ruqing Zhang, Donald Metzler
SIGIR 23 – 2023年7月 [链接]

基于检索的语言模型及其应用
Akari Asai, Sewon Min, Zexuan Zhong, Danqi Chen
ACL 23 – 2023年7月 [链接]

成为生成式AI开发者 Richie Cotton, Olivier Mertens, Korey Stegared-Pace, James Briggs, Vincent Vankrunkelsven, Alara Dirik, Jacob Marquez, Priyanka Asnani DataCamp [链接]

书籍

从零构建大型语言模型
Sebastian Raschka
Manning Publications - 2024年9月 [链接]

从零构建推理模型
Sebastian Raschka
Manning Publications - 2025年8月 [链接]

检索增强生成：奠基性论文集
Ben Auffarth
Manning Publications - 2026年3月 [链接]

检索增强生成简易指南
Abhinav Kimothi
Manning Publications - 2025年6月 [链接]

从零构建高级RAG应用
Hamza Farooq
Manning Publications - 2024年10月 [链接]

企业级RAG
Tyler Suard 和 Darshil Modi
Manning Publications - 2025年3月 [链接]

图RAG基础
"Tomaž Bratanič 和 Oskar Hane"
Manning Publications - 2025年7月 [链接]

论文

综述与基准测试

检索增强生成中的大型语言模型基准测试
Jiawei Chen, Hongyu Lin, Xianpei Han, Le Sun
arXiv 2023. [论文][GitHub]
2023年9月4日

检索增强型大语言模型

通过自我推理提升检索增强语言模型
夏源、周景博、史振辉、陈军、黄海峰 \
AAAI 25 – 2025年3月 [论文]

无需自我知识的自适应检索？让不确定性回归
维克托·莫斯科韦列茨基、玛丽亚·利修克、米哈伊尔·萨尔尼科夫、尼古拉·伊万诺夫、谢尔盖·普列特涅夫、达里娅·加林齐亚诺娃、尼基塔·克拉伊科、瓦西里·科诺瓦洛夫、伊琳娜·尼基希娜、亚历山大·潘琴科
arXiv – 2025年1月 [论文

DFA-RAG：基于确定有限自动机的大语言模型对话式语义路由
孙益友、胡俊杰、程伟、陈海峰
ICML 24 – 2024年2月 [论文]

笔记链：增强检索增强语言模型的鲁棒性
于文浩、张洪明、潘晓曼、马凯欣、王宏伟、于东
arXiv - 2023年11月 [论文]

REST：基于检索的推测解码
何振宇、钟泽轩、蔡天乐、Jason D Lee、何迪
arXiv - 2023年11月 [论文][GitHub]

Self-RAG：通过自我反思学习检索、生成和批判
匿名
ICLR 24 – 2023年10月 [论文]

自我知识引导的大型语言模型检索增强
王一乐、李鹏、孙茂松、刘洋
arXiv - 2023年10月 [论文]

检索遇见长上下文大语言模型
徐鹏、魏平、吴宪超、劳伦斯·麦卡菲、朱晨、刘子涵、桑迪普·苏布拉马尼安、埃韦丽娜·巴赫图里娜、穆罕默德·绍伊比、布莱恩·卡坦扎罗
arXiv - 2023年10月 [论文]

DSPy：将声明式语言模型调用编译为自我改进的流水线
奥马尔·哈塔卜、阿尔纳夫·辛格维、帕里迪·马赫什瓦里、张志远、凯沙夫·桑塔南、斯里·瓦尔达马南、赛富尔·哈克、阿舒托什·夏尔马、托马斯·T·乔希、汉娜·莫阿扎姆、希瑟·米勒、马泰伊·扎哈里亚、克里斯托弗·波茨
arXiv – 2023年10月 [论文] [代码]

适应性变色龙还是顽固的树懒：揭示大型语言模型在知识冲突中的行为
谢健、张凯、陈江杰、楼仁泽、苏宇
ICLR 24 – 2023年5月 [论文] [代码]

主动检索增强生成
江正宝、Frank F. Xu、高璐宇、孙志清、刘倩、简·德维迪-余、杨一鸣、杰米·卡兰、格雷厄姆·诺伊比格
arXiv – 2023年5月 [论文] [代码]

REPLUG：检索增强的黑盒语言模型
石伟嘉、闵世元、安永道广、徐敏俊、里奇·詹姆斯、迈克·刘易斯、卢克·泽特勒莫耶、叶问涛
arXiv – 2023年1月 [论文]

面向知识密集型NLP任务的检索增强生成 帕特里克·刘易斯、伊森·佩雷斯、亚历山德拉·皮克图斯、法比奥·佩特罗尼、弗拉基米尔·卡尔普金、纳曼·戈亚尔、海因里希·库特勒、迈克·刘易斯、叶问涛、蒂姆·罗克塔谢尔、塞巴斯蒂安·里德尔、杜威·基拉 NeurIPS 2020 - 2020年5月 [论文]

RAG指令微调

RA-DIT：检索增强双指令微调
匿名
ICLR 24 – 2023年10月 [论文]

InstructRetro：检索增强预训练后的指令微调
王博鑫、魏平、劳伦斯·麦卡菲、徐鹏、李博、穆罕默德·绍伊比、布莱恩·卡坦扎罗
arXiv - 2023年10月 [论文]

RAG上下文学习

上下文检索增强语言模型
奥里·拉姆、约阿夫·莱文、伊泰·达尔梅迪戈斯、多尔·穆赫盖、阿姆农·沙舒亚、凯文·莱顿-布朗、约阿夫·肖哈姆
AI21 Labs – 2023年1月 [论文][代码]

RAG嵌入

RegaVAE：用于语言建模的检索增强高斯混合变分自编码器
邓靖成、庞亮、沈华伟、程雪琪
EMNLP 2023 - 2023年10月 [论文][GitHub]

文本嵌入揭示的信息几乎与文本本身一样多
约翰·X·莫里斯、沃洛迪米尔·库列绍夫、维塔利·施马蒂科夫、亚历山大·M·拉什
EMNLP 2023 - 2023年10月 [论文][GitHub]

Jina Embeddings 2：适用于长文档的8192个标记通用文本嵌入
迈克尔·京特、张杰民、伊莎贝尔·莫尔、阿拉丁·阿卜德萨莱姆、唐吉·阿贝尔、穆罕默德·卡利姆·阿克拉姆、苏珊娜·古兹曼、乔治奥斯·马斯特拉斯、萨巴·斯图鲁阿、王博、马克西米利安·韦尔克、王楠、肖汉
arXiv - 2023年10月。[论文][模型]

RAG模拟器

KAUCUS：用于训练语言模型助手的知识增强用户模拟器
考斯图布·D·多勒
聊天对话智能模拟，EACL 2024 [论文]

RAG搜索

RAG 长文本与记忆

ComoRAG：一种受认知启发、基于记忆组织的 RAG，用于有状态的长篇叙事推理 \
王聚源、赵荣晨、魏伟、王宇峰、余墨、周杰、徐进、徐丽燕 \
AAAI 2026 - 2025年8月 [论文] [GitHub]

• Cortex - 面向代码助手的持久化 AI 记忆。自动捕获决策、模式和上下文。提供 VSCode 插件、命令行工具及 MCP 服务器。免费。
• Agent Brain - 适用于 AI 代理的七层认知记忆系统，具备感知门控、梦境循环和预测能力。基于 FastAPI 和 PostgreSQL/pgvector 构建，可自行部署。

HippoRAG：受神经生物学启发的大语言模型长期记忆
贝尔纳尔·希门尼斯·古铁雷斯、舒一恒、顾宇、米奇hiro·安永、苏宇
arXiv - 2024年5月 [论文] [GitHub]

理解面向长文档问答的检索增强技术
陈鸿廷、许芳远、谢恩·A·阿罗拉、崔恩瑟
arXiv - 2023年10月 [论文]

RAG 评估

ARES：检索增强生成系统的自动化评估框架
乔恩·萨德-法尔孔、奥马尔·哈塔卜、克里斯托弗·波茨、马泰伊·扎哈里亚
arXiv - 2023年11月。[论文] [GitHub]

评估与对齐：奠基性论文集
韩忠李
曼宁出版社 - 2026年3月。[书籍]

RAG 优化

学习如何过滤上下文以用于检索增强生成
王志若、荒木淳、蒋正宝、穆罕默德·里兹万·帕尔韦兹、格雷厄姆·诺伊比格
arXiv - 2023年11月 [论文][GitHub]

大语言模型极易被无关上下文干扰
史芙蕾达、陈欣云、米斯拉·卡尼什卡、内森·斯凯尔斯、大卫·多汉、埃德·奇、纳撒尼尔·舍尔利、周登尼
ICML 2023 - 2023年1月 [论文][GitHub]

证据导向生成在知识密集型 NLP 任务中的应用
浅井明里、马特·加德纳、汉娜内·哈吉希尔齐
NAACL 2022 - 2021年12月 [论文][GitHub]

何时不应信任语言模型：探究参数化与非参数化记忆的有效性
亚历克斯·马伦、浅井明里、维克多·钟、拉贾尔希·达斯、丹尼尔·卡沙比、汉娜内·哈吉希尔齐
ACL 2023 - 2022年12月 [论文][GitHub]

RAG 应用

大语言模型在金融领域的不足：幻觉现象的实证研究
康浩强、刘晓阳
arXiv - 2023年11月 [论文]

Clinfo.ai：一个开源的检索增强型大语言模型系统，用于基于科学文献回答医学问题
亚历杭德罗·洛萨诺、斯科特·L·弗莱明、江家纯、尼甘·沙赫
arXiv - 2023年10月。[论文]

PEARL：利用生成校准型检索器个性化大语言模型写作助手
谢舍拉·迈索尔、陆卓然、万梦婷、杨龙琪、史蒂夫·梅内塞斯、蒂娜·巴盖、埃马努埃尔·巴拉哈斯·冈萨雷斯、珍妮弗·内维尔、塔拉·萨法维
arXiv - 2023年11月。[论文]

Awesome-LLM-RAG 快速上手指南

Awesome-LLM-RAG 并非一个可直接安装的单一软件工具，而是一个精选的开源资源清单仓库。它汇集了检索增强生成（RAG）领域最前沿的论文、基准测试、教程、书籍以及相关的开源代码实现。

本指南将指导开发者如何利用该仓库快速定位所需资源，并运行其中推荐的经典 RAG 项目（以 DSPy 和 FLARE 为例）。

环境准备

在开始探索具体的 RAG 算法或框架前，请确保您的开发环境满足以下基础要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议配合 WSL2 使用)。
• Python 版本: 3.9 或更高版本（大多数现代 LLM 库需要较新的 Python 环境）。
• 硬件要求:
  • 基础实验：8GB+ 内存。
  • 本地模型推理/微调：建议配备 NVIDIA GPU (显存 16GB+ 推荐)，或使用云端 GPU 实例。
• 前置依赖:
  • Git
  • pip 或 conda (包管理工具)
  • Hugging Face Account (用于下载部分模型权重)

安装步骤

由于本仓库是资源列表，您首先需要克隆仓库以获取最新的论文列表和项目链接，然后根据需求安装具体项目的依赖。

1. 克隆资源仓库

获取最新的 RAG 论文和项目索引：

git clone https://github.com/milkomida77/Awesome-LLM-RAG.git
cd Awesome-LLM-RAG

2. 安装示例框架依赖

仓库中推荐了多个核心框架，以下以 DSPy (编译式 LLM 管道) 和 FLARE (主动检索增强生成) 为例进行安装。

安装 DSPy:

pip install dspy-ai

安装 FLARE (Active Retrieval Augmented Generation):

git clone https://github.com/jzbjyb/FLARE.git
cd FLARE
pip install -r requirements.txt

提示: 国内开发者若遇到 PyPI 下载缓慢，可使用清华源加速： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

基本使用

本部分展示如何运行仓库中收录的两个代表性项目，体验 RAG 的核心流程。

场景一：使用 DSPy 构建声明式 RAG 管道

DSPy 允许通过代码声明逻辑，自动优化 Prompt 和检索策略。

1. 创建脚本 basic_rag_dspy.py:

   import dspy
   from dspy.evaluate import Evaluate
   from dspy.datasets import HotPotQA
   
   # 1. 设置 LM 和 RM (检索模型)
   # 这里以 OpenAI 和本地 Chroma 为例，实际使用时请替换为您的 API Key 或本地模型
   lm = dspy.OpenAI(model='gpt-3.5-turbo')
   rm = dspy.ColBERTv2(url='http://20.102.90.50:2017/wiki17_abstracts')
   
   dspy.settings.configure(lm=lm, rm=rm)
   
   # 2. 定义签名 (Signature)
   class GenerateAnswer(dspy.Signature):
       """Answer questions with short factoid answers."""
       context = dspy.InputField(desc="may contain relevant facts")
       question = dspy.InputField()
       answer = dspy.OutputField(desc="often between 1 and 5 words")
   
   # 3. 定义模块 (Module)
   class RAG(dspy.Module):
       def __init__(self, num_passages=3):
           super().__init__()
           self.retrieve = dspy.Retrieve(k=num_passages)
           self.generate_answer = dspy.ChainOfThought(GenerateAnswer)
       
       def forward(self, question):
           context = self.retrieve(question).passages
           prediction = self.generate_answer(context=context, question=question)
           return dspy.Prediction(context=context, answer=prediction.answer)
   
   # 4. 简单测试
   program = RAG()
   question = "What is the capital of France?"
   result = program(question)
   
   print(f"Question: {question}")
   print(f"Answer: {result.answer}")
   

2. 运行脚本:

   python basic_rag_dspy.py
   

场景二：运行 FLARE (主动检索)

FLARE 通过在生成过程中动态判断是否需要检索来提升准确性。

1. 进入项目目录:

   cd FLARE
   

2. 执行示例命令: 根据该项目 README，通常使用如下命令启动生成任务（需预先配置好模型路径）：

   python src/generate.py \
       --model_name_or_path meta-llama/Llama-2-7b-hf \
       --data_path data/nq-open-20_total_documents_gold_at_0.jsonl \
       --output_dir outputs/flare_demo
   

获取更多资源

浏览克隆下来的仓库目录或访问原始 GitHub 页面，您可以找到更多分类资源：

• Survey and Benchmark: 查找最新的综述论文和评测基准。
• RAG Embeddings: 获取如 Jina Embeddings 2 等高性能向量模型链接。
• Books: 参考《Build an Advanced RAG Application (From Scratch)》等书籍进行系统学习。