缓存增强生成 (CAG)

检索增强生成 (RAG) 已成为一种强大的方法，通过整合外部知识源来增强语言模型。然而，RAG 也带来了一些挑战，包括：

• 检索延迟——由实时检索步骤引起的延迟。
• 检索错误——在选择相关文档时出现的不准确性。
• 系统复杂度——增加了架构和维护开销。

为了解决这些限制，我们提出了缓存增强生成 (CAG)——一种绕过实时检索的替代范式。CAG 利用现代大型语言模型 (LLM) 的扩展上下文窗口，将所有相关资源预先加载到模型的上下文中，并缓存其运行时参数。在推理过程中，预加载的 KV 缓存使模型能够直接生成响应，从而无需进行检索。

CAG 的优势

• 降低延迟——消除了实时检索，实现了更快的推理速度。
• 提高可靠性——在保持上下文相关性的同时，最大限度地减少了检索错误。
• 简化设计——提供了一种无检索的精简替代方案，以更低的复杂度实现与 RAG 相当或更优的结果。

CAG 的局限性

• 知识规模有限——CAG 要求整个知识源能够容纳在上下文窗口内，因此不太适合涉及超大规模数据集的任务。
• 上下文长度限制——当上下文非常长时，LLM 的性能可能会下降（参考）。

我们的论文，将在ACM Web Conference 2025上以短文形式发表，探讨了模型性能与上下文长度之间的关系，并提供了 CAG 在哪些场景下表现优异的见解。

随着具有更长上下文窗口和更强提取扩展输入中相关信息能力的 LLM 的不断进步，CAG 的局限性正迅速得到缓解。预计随着这些模型的持续发展，CAG 将能够处理日益复杂的任务，成为传统 RAG 的一种实用且可扩展的替代方案。

---

安装

pip install -r ./requirements.txt

准备

[!重要] 使用 curl 脚本下载所需的 squad 和 hotpotqa 数据集

sh ./downloads.sh

[!重要] 根据 .env.template 文件创建 .env 文件，并填写所需密钥

cp ./.env.template ./.env

使用

• rag.py 用于 RAG 实验。
• kvcache.py 用于 CAG 实验。

参数使用 — kvcache.py

• --kvcache: "file"
• --dataset: "hotpotqa-train" 或 "squad-train"
• --similarity "bertscore"
• --modelname: "meta-llama/Llama-3.1-8B-Instruct"
• --maxKnowledge: "", 整数，选择数据集中包含多少篇文档，具体说明见注释。
• --maxParagraph: 100
• --maxQuestion 整数，最大问题数量，具体说明见注释。
• --randomSeed: "", 整数，随机种子数值。
• --output: "", 字符串，输出文件路径。
• --usePrompt，如果不使用 CAG 知识缓存加速，则添加此参数。

示例 — kvcache.py

python ./kvcache.py --kvcache file --dataset "squad-train" --similarity bertscore \
    --maxKnowledge 5 --maxParagraph 100 --maxQuestion 1000  \
    --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 \
    --output "./result_kvcache.txt"

参数使用 — rag.py

• --index: "openai" 或 "bm25"
• --dataset: "hotpotqa-train" 或 "squad-train"
• --similarity "bertscore"
• --maxKnowledge: "", 整数，选择数据集中包含多少篇文档，具体说明见注释。
• --maxParagraph: 100
• --maxQuestion 整数，最大问题数量，具体说明见注释。
• --topk 整数，检索相似度的前 k 个结果。
• --modelname: "meta-llama/Llama-3.1-8B-Instruct"
• --randomSeed: "", 整数，随机种子数值。
• --output: "", 字符串，输出文件路径。

示例 — rag.py

python ./rag.py --index "bm25" --dataset "hotpotqa-train" --similarity bertscore \
    --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --topk 3 \
    --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 \
    --output "./rag_results.txt"

注释：

--maxKnowledge 参数说明：

[!注释] “squad-train” 和 “hotpotqa-train” 数据集的知识文档大小对应的近似令牌数。

数据集=("squad-train")

• 当 k = 3 时，令牌数为 21,000
• 当 k = 4 时，令牌数为 32,000
• 当 k = 7 时，令牌数为 50,000

数据集=("hotpotqa-train")

• 总共有 7,405 篇文章，总令牌数为 10,038,084
• 当 k = 1 时，令牌数为 1,400
• 当 k = 16 时，令牌数为 22,400
• 当 k = 24 时，令牌数为 33,667
• 当 k = 32 时，令牌数为 44,800
• 当 k = 48 时，令牌数为 64,000
• 当 k = 64 时，令牌数为 85,000
• 当 k = 80 时，令牌数为 106,000

--maxQuestion 参数说明：

• 使用“squad-train”数据集时，每篇知识文档平均有 150 个问题。
• 使用“hotpotqa-train”数据集时，每篇知识文档只有 1 个问题。

[!提示] 由于“hotpoqa-train”数据集中的每篇文档仅包含 1 个问题，可能无法满足大规模评估的需求。采用多次评估的方式可能会更为合适。

Docker

要构建 Docker 镜像，请运行以下命令：

docker build -t my-cag-app .

对于 GPU 用户，运行容器的命令如下：

docker run --gpus all -it --rm my-cag-app

或者，对于 CPU 用户：

docker run -it --rm my-cag-app

如果在构建镜像时 .env 文件未填写完整，您可能会遇到类似以下的错误：

Traceback (most recent call last):
  File "/app/./kvcache.py", line 35, in <module>
    env = validate_env_variables()
          ^^^^^^^^^^^^^^^^^^^^^^^^
  File "/app/./kvcache.py", line 31, in validate_env_variables
    raise ValueError(f"Missing required environment variable: {key}")
ValueError: Missing required environment variable: HF_TOKEN

因此，在构建 Docker 镜像之前，请务必填写好 .env 文件。

请注意，Dockerfile 中的 CMD 指令默认会运行 kvcache.py 脚本。如果您希望执行其他脚本（如 rag.py），可以在 docker run 命令中覆盖此设置。例如：

docker run --gpus all -it --rm my-cag-app python ./rag.py --index "bm25" --dataset "hotpotqa-train" --similarity bertscore --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --topk 3 --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 --output "./rag_results.txt"

引用

@misc{chan2024dontragcacheaugmentedgeneration,
      title={别再用RAG了：缓存增强生成足以应对知识型任务}, 
      author={Brian J Chan、Chao-Ting Chen、Jui-Hung Cheng、Hen-Hsen Huang},
      year={2024},
      eprint={2412.15605},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.15605}, 
}

致谢

本研究得到了台湾国家科学及技术委员会（NSTC）资助项目112-2221-E-001-016-MY3、中央研究院资助项目236d-1120205，以及国家高速计算机中心（NCHC）、国家实验研究院（NARLabs）和NSTC联合资助的“台湾113年度推进可信生成式AI大型语言模型及素养能力培养计划（可信AI对话引擎，TAIDE）”的支持。 我们衷心感谢Discover AI以及众多介绍、分享和讨论本研究的个人，正是他们的努力使我们的工作获得了更广泛的可见度和影响力。

CAG (Cache-Augmented Generation) 快速上手指南

CAG 是一种替代传统 RAG（检索增强生成）的新范式。它通过将相关知识预加载到大模型的上下文窗口中并缓存 KV Cache，从而消除实时检索步骤，显著降低延迟并简化系统架构。本指南帮助开发者快速部署并运行 CAG 实验。

环境准备

在开始之前，请确保满足以下系统和软件要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)。
• Python: 版本 3.8 或更高。
• GPU (可选但推荐): 如需加速推理，请安装对应的 NVIDIA 驱动和 CUDA 工具包。
• 账号与密钥:
  • Hugging Face Token: 用于下载模型（如 Llama 3.1）。需提前在 Hugging Face 官网申请并获取 HF_TOKEN。
  • OpenAI API Key (仅在使用 RAG 对比实验且索引设为 openai 时需要)。

安装步骤

1. 克隆项目与安装依赖

首先克隆代码库并安装 Python 依赖包。国内用户若遇到 pip 下载慢的问题，可临时使用清华或阿里镜像源。

git clone https://github.com/hhhuang/CAG.git
cd CAG
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 配置环境变量

复制环境变量模板文件，并填入必要的 API 密钥（主要是 HF_TOKEN）。

cp ./.env.template ./.env

注意: 请使用文本编辑器打开 .env 文件，填入你的 HF_TOKEN。若留空，运行时会报错 Missing required environment variable: HF_TOKEN。

3. 下载数据集

执行脚本下载实验所需的 squad 和 hotpotqa 数据集。

sh ./downloads.sh

基本使用

CAG 的核心功能通过 kvcache.py 脚本实现。以下是一个最简单的运行示例，该命令将使用 Llama-3.1-8B 模型在 SQuAD 数据集上运行 CAG 实验。

运行 CAG 实验

python ./kvcache.py --kvcache file --dataset "squad-train" --similarity bertscore \
    --maxKnowledge 5 --maxParagraph 100 --maxQuestion 1000  \
    --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 \
    --output "./result_kvcache.txt"

参数说明：

• --dataset: 选择数据集，可选 "squad-train" 或 "hotpotqa-train"。
• --maxKnowledge: 加载的知识文档数量。注意：此数值直接决定 Context Length（上下文长度），需确保不超过模型支持的最大窗口。
  • 例如在 squad-train 中，k=5 约占用 40k+ tokens。
  • 在 hotpotqa-train 中，k=80 约占用 106k tokens。
• --modelname: 指定使用的 Hugging Face 模型名称。
• --usePrompt: 如果添加此参数，则不使用 CAG 缓存加速，退化为普通 Prompt 模式（用于对比）。

可选：运行 RAG 对比实验

若需与传统 RAG 方法进行效果对比，可使用 rag.py：

python ./rag.py --index "bm25" --dataset "hotpotqa-train" --similarity bertscore \
    --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --topk 3 \
    --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed  0 \
    --output  "./rag_results.txt"

可选：使用 Docker 运行

如果你希望隔离环境或使用容器化部署：

1. 构建镜像 (确保构建前已正确填写 .env 文件):

   docker build -t my-cag-app .
   

2. 运行容器 (GPU 用户):

   docker run --gpus all -it --rm my-cag-app
   

   (CPU 用户去掉 --gpus all 参数即可)