“上下文工程是一门精妙的艺术与科学，旨在为下一步操作恰到好处地填充上下文窗口。” — 安德烈·卡帕西

软件再次变革：YC AI 创业学校演讲

综合课程正在建设中

上下文工程调查——1400篇研究论文综述

超棒的上下文工程仓库

以第一性原理和可视化方式落地关于上下文的最新研究——2025年7月来自 ICML、IBM、NeurIPS、OHBM 等

“为 GPT-4.1 提供‘认知工具’后，其在 AIME2024 中的 pass@1 准确率从 26.7% 提升至 43.3%，使其性能非常接近 o1-preview。” — IBM 苏黎世研究院

一本前沿且基于第一性原理的手册，旨在超越提示工程，迈向更广泛的上下文设计、编排与优化领域。

                    提示工程  │  上下文工程
                       ↓                │            ↓                      
               “你说了什么”           │  “模型所见的一切其他内容”
             (单条指令)       │    (示例、记忆、检索、
                                        │     工具、状态、控制流)

上下文工程的定义

上下文不仅仅是用户发送给 LLM 的单一提示。上下文是在推理时提供给 LLM 的完整信息载荷，涵盖了模型为合理完成特定任务所需的所有结构化信息组件。

— 基于对超过1400篇研究论文的系统分析得出的上下文工程定义

╭─────────────────────────────────────────────────────────────╮
│              上下文工程精通课程             │
│                    从零到前沿                    │
╰─────────────────────────────────────────────────────────────╯
                          ▲
                          │
                 数学基础
                  C = A(c₁, c₂, ..., cₙ)
                          │
                          ▼
┌─────────────┬──────────────┬──────────────┬─────────────────┐
│ 基础        │ 系统实现     │ 集成         │ 前沿            │
│ (第1–4周)   │ (第5–8周)    │ (第9–10周)   │ (第11–12周)     │
└─────┬───────┴──────┬───────┴──────┬───────┴─────────┬───────┘
      │              │              │                 │
      ▼              ▼              ▼                 ▼
┌─────────────┐ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 数学模型    │ │ RAG 系统     │ │ 多智能体     │ │ 元递归        │
│ 组件        │ │ 内存架构     │ │ 编排理论     │ │ 量子语义学    │
│ 处理        │ │ 工具集成     │ │ 评估         │ │ 协作          │
│ 管理        │ │ 代理系统     │ │ 评价         │ │ 自我提升      │
└─────────────┘ └──────────────┘ └──────────────┘ └──────────────┘

为什么存在这个仓库

“意义并不是语义表达的内在、静态属性，而是一种涌现现象” — Agostino 等人 — 2025年7月，印第安纳大学

提示工程曾备受关注，但现在我们可以期待接下来的发展。一旦你掌握了提示词的运用，真正的力量就来自于对围绕这些提示词的整个上下文窗口进行工程化设计。换句话说，就是引导思维的过程。

本仓库提供了一种基于生物隐喻的、由浅入深的上下文工程方法论：

原子 → 分子 → 细胞 → 器官 → 神经系统 → 神经与语义场理论 
  │        │         │         │             │                         │        
单个    少量     记忆 +   多代理   认知工具 +     上下文 = 场 +
提示    示例     代理      代理   操作系统     持久性 & 共振

“抽象是泛化的代价”——Grant Sanderson (3Blue1Brown)

graph TD
    classDef basic fill:#e1f5fe,stroke:#01579b,stroke-width:2px,color:#01579b
    classDef intermediate fill:#e8f5e9,stroke:#2e7d32,stroke-width:2px,color:#2e7d32
    classDef advanced fill:#fff3e0,stroke:#e65100,stroke-width:2px,color:#e65100
    classDef meta fill:#f3e5f5,stroke:#6a1b9a,stroke-width:2px,color:#6a1b9a
    
    subgraph Basic["第一层：基础上下文工程"]
        A[原子]
        B[分子]
        C[细胞]
        D[器官]
    end
    
    subgraph Field["第二层：场理论"]
        E[神经系统]
        F[神经场]
    end
    
    subgraph Protocol["第三层：协议体系"]
        G[协议壳]
        H[统一系统]
    end
    
    subgraph Meta["第四层：元递归"]
        I[元递归框架]
    end
    
    %% 连接线
    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    
    %% 各层级描述
    A1["单条指令<br>简单约束<br>基础提示"] --> A
    B1["示例对<br>少样本模式<br>演示集"] --> B
    C1["持久记忆<br>状态管理<br>上下文窗口"] --> C
    D1["多步流程<br>专家角色<br>系统编排"] --> D
    E1["推理框架<br>验证工具<br>认知模式"] --> E
    F1["持续意义<br>吸引子与共振<br>符号残留"] --> F
    G1["结构化模板<br>场操作<br>涌现协议"] --> G
    H1["协议集成<br>系统级涌现<br>自我维持"] --> H
    I1["自我反思<br>递归改进<br>可解释的演化"] --> I
    
    %% 现实类比
    A2["类似：基础提示<br>工程"] -.-> A
    B2["类似：少样本<br>学习"] -.-> B
    C2["类似：对话式<br>聊天机器人"] -.-> C
    D2["类似：多智能体<br>系统"] -.-> D
    E2["类似：ReAct<br>思维链"] -.-> E
    F2["类似：语义<br>场理论"] -.-> F
    G2["类似：协议<br>编排"] -.-> G
    H2["类似：自组织<br>系统"] -.-> H
    I2["类似：自我提升<br>智能"] -.-> I
    
    %% 应用样式
    class A,B,C,D,A1,A2,B1,B2,C1,C2,D1,D2 basic
    class E,F,E1,E2,F1,F2 intermediate
    class G,H,G1,G2,H1,H2 advanced
    class I,I1,I2 meta

快速入门

1. 阅读 00_foundations/01_atoms_prompting.md（5分钟）
   了解为什么仅靠提示词往往效果不佳

2. 运行 10_guides_zero_to_hero/01_min_prompt.py（Jupyter Notebook 风格）
   体验一个最小可行示例

3. 探索 20_templates/minimal_context.yaml
   将模板复制到你的项目中

4. 研究 30_examples/00_toy_chatbot/
   查看包含上下文管理的完整实现

学习路径

┌─────────────────┐     ┌──────────────────┐     ┌────────────────┐
│ 00_foundations/ │     │ 10_guides_zero_  │     │ 20_templates/  │
│                 │────▶│ to_one/          │────▶│                │
│ 理论与核心    │     │ 实战指导         │     │ 复制粘贴       │
│ 概念          │     │ 演示 walkthroughs│     │ 片段           │
└─────────────────┘     └──────────────────┘     └────────────────┘
         │                                                │
         │                                                │
         ▼                                                ▼
┌─────────────────┐                             ┌────────────────┐
│ 40_reference/   │◀───────────────────────────▶│ 30_examples/   │
│                 │                             │                │
│ 深度解析 &    │                             │ 实际项目、     │
│ 评估手册      │                             │ 逐步复杂       │
└─────────────────┘                             │ 的实现         │
         ▲                                      └────────────────┘
         │                                                ▲
         │                                                │
         └────────────────────┐               ┌───────────┘
                              ▼               ▼
                         ┌─────────────────────┐
                         │ 50_contrib/         │
                         │                     │
                         │ 社区贡献          │
                         │                    │
                         └─────────────────────┘

你将学到的内容

概念	是什么	为什么重要
Token预算	优化上下文中的每一个token	更多的token意味着更高的成本和更慢的响应
少样本学习	通过展示示例进行教学	通常比单独的解释效果更好
记忆系统	在多次交互中持久化信息	实现有状态、连贯的交互
检索增强	查找并注入相关文档	使回答基于事实，减少幻觉
控制流	将复杂任务分解为步骤	用更简单的提示解决更难的问题
上下文修剪	移除不相关信息	只保留对性能必要的内容
指标与评估	衡量上下文的有效性	迭代优化token使用与质量之间的平衡
认知工具与提示编程	学习构建自定义工具和模板	提示编程为上下文工程提供了新的层次
神经场理论	上下文作为神经场	将上下文建模为动态神经场，允许迭代更新上下文
符号机制	符号架构支持高阶推理	更智能的系统意味着更少的工作量
量子语义学	意义依赖于观察者	设计利用叠加技术的上下文系统

卡帕西 + 3Blue1Brown 风格

适合所有经验水平的学习者

1. 第一性原理 – 从最基本的上下文开始
2. 迭代添加 – 只添加模型明显缺乏的部分
3. 测量一切 – token成本、延迟、质量评分
4. 无情删除 – 修剪胜过填充
5. 代码 > 幻灯片 – 每个概念都有可运行的代码单元
6. 可视化一切 — 每个概念都用ASCII和符号图示进行可视化

研究证据

记忆 + 推理

MEM1：学习协同记忆与推理以构建高效长时序智能体 - 新加坡-麻省理工学院 2025年6月

“我们的研究结果表明，基于推理的记忆整合作为一种可扩展的替代方案，有望用于训练长时序交互式智能体，在效率和性能上均达到最优。”— 新加坡-麻省理工学院

1. MEM1训练AI智能体只保留关键信息——在每一步都将记忆与推理融合——因此无论任务持续多久，它们都不会被压垮。

2. 不同于堆积无尽的上下文，MEM1将每次交互压缩成一个紧凑的“内部状态”，就像一张不断更新而非重复复制的智能笔记。

3. 通过将记忆与思考融为一体，MEM1学会只记住最重要的内容——使智能体更快、更敏锐，并能处理更长时间的对话。

4. 智能体所做的每一件事都被标记和结构化，因此每个动作、问题或事实都清晰易懂，便于审计——不再有神秘莫测的记忆。

5. 在每个循环中，旧的冗余信息会被修剪，只有最新、最相关的信息会被保留下来，这就像专家解决问题时会不断提炼自己的笔记一样。

6. MEM1证明了，这种递归式的、基于协议的记忆方法——即始终精炼和整合——在速度和准确性方面都优于传统的“只是增加更多上下文”的方法。

认知工具

利用认知工具激发语言模型的推理能力 - IBM苏黎世 2025年6月

提示及提示程序作为推理工具调用

“认知工具”将推理操作封装在LLM自身之中 — IBM苏黎世

这些认知工具（作为工具调用的结构化提示模板）通过识别当前的主要概念、提取问题中的相关信息，并突出可能有助于解决问题的有意义的性质、定理和技巧来分解问题。

这些模板搭建起类似于认知心理捷径的推理层级，而这类捷径通常被称为“启发式”。

1. 这项研究表明，将复杂任务分解为模块化的“认知工具”，可以让AI更周密地解决问题——这与专家人类逐步推理的方式如出一辙。

2. 模型不再依赖单一的大提示，而是调用专门的提示模板，即“理解问题”、“回忆相关知识”、“检查答案”和“回溯”等认知工具——每个工具负责一种特定的心理操作。

3. 认知工具的作用就像内在的心理捷径：AI会在每个阶段选择合适的程序并运行它，以规划其推理过程和后续行动，从而提高准确性和灵活性。

4. 通过将推理步骤划分为模块化的区块，这些工具可以防止混淆、减少错误，并使模型的思维过程透明且可审计——即使是在复杂的数学问题上也是如此。

5. 这种模块化的方法适用于开放和封闭模型——能够提升现实世界中的数学问题解决能力，并接近经过强化学习训练的高级“推理”模型的表现，而无需额外的训练。

6. 研究结果表明，大型语言模型中已经蕴含着强大的推理能力——认知工具只是将其解锁并加以协调，提供了一种透明、高效且可解释的替代黑箱调优的方法。

涌现符号

涌现的符号机制支持大型语言模型中的抽象推理 - ICML 普林斯顿，2025年6月18日

简而言之：研究发现了一种三阶段架构，它通过一系列涌现的符号处理机制来支持大型语言模型中的抽象推理。

这些机制包括符号归纳头、符号抽象头以及检索头。

1. 在早期层中，符号抽象头根据输入标记之间的关系，将输入标记转换为抽象变量。

2. 在中间层中，符号归纳头对这些抽象变量进行序列归纳。

3. 最后，在较晚的层中，检索头通过检索与预测的抽象变量相关联的值来预测下一个标记。

这些结果指向了长期以来关于符号方法与神经网络方法之间争论的解决方案，表明神经网络中的涌现式推理依赖于符号机制的出现。 — ICML 普林斯顿

为何有用？

这解释了为什么 Markdown、Json 等结构化、符号化的格式更容易被大型语言模型解析。

概念：与智能体协作，使用分隔符、语法、符号、象征性词汇、隐喻和结构，以提升推理、上下文理解、记忆保持等能力。

1. 本文证明，大型语言模型会发展出自身内部的符号“逻辑电路”，使其能够基于抽象变量进行推理，而不仅仅是表面的文字模式。

2. 大型语言模型表现出一个三阶段的过程：首先从输入中抽象出符号，然后对这些变量进行推理，最后再将抽象答案映射回现实世界的标记。

3. 这些涌现的机制意味着大型语言模型并非单纯地记忆，而是能够创建灵活的内部表示，从而推广到新的问题和类比情境中。

4. 早期层中的注意力头类似于“符号提取器”，中间层执行符号推理，而晚期层则负责检索具体的答案——这一过程模仿了人类的抽象与检索机制。

5. 通过有针对性的实验和干预，作者们证明了这些符号过程对于抽象推理来说既是必要条件，也是充分条件，并且这一规律在多种模型和任务中都成立。

6. 研究结果弥合了符号人工智能与神经网络之间的历史性鸿沟——表明在足够规模下，神经网络能够自发地发明并使用符号机制，从而支持真正的泛化与推理能力。

星标历史

贡献

我们欢迎各位贡献！请查看 CONTRIBUTING.md 以获取相关指南。

许可证

MIT 许可证

引用

@misc{context-engineering,
  author = {Context Engineering 贡献者},
  title = {Context Engineering: Beyond Prompt Engineering},
  year = {2025},
  publisher = {GitHub},
  url = {https://github.com/davidkimai/context-engineering}
}

致谢

我一直期待这一领域能够被概念化并正式确立，因为此前并没有这样一个既定的研究方向。提示工程常常带有负面标签，而且并不能完全涵盖大多数研究人员以及我个人所从事的工作。

• 感谢 Andrej Karpathy 提出“上下文工程”这一术语，并启发了本仓库的创建。
• 感谢所有贡献者及开源社区。

Context-Engineering 快速上手指南

Context-Engineering 是一套超越传统提示工程（Prompt Engineering）的方法论，旨在通过设计、编排和优化提供给大语言模型（LLM）的完整上下文窗口（包括示例、记忆、检索内容、工具状态和控制流），从而显著提升模型性能。

本指南将帮助你快速搭建环境并运行最小化示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本: Python 3.9 或更高版本
• 依赖管理: pip 或 conda
• 前置知识: 基础的 Python 编程能力，了解 LLM 基本概念

安装必要依赖：

虽然本项目主要提供理论和模板，但运行示例代码通常需要基础的 LLM 交互库。建议安装以下通用依赖：

pip install openai anthropic pyyaml jupyter

提示：国内开发者如遇下载缓慢，可使用清华或阿里镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple openai anthropic pyyaml jupyter

安装步骤

本项目主要为知识库和代码模板集合，无需复杂的编译安装，直接克隆仓库即可。

1. 克隆仓库

   git clone https://github.com/davidkimai/Context-Engineering.git
   cd Context-Engineering
   

2. 验证目录结构

   确保你看到了核心的学习和示例目录：

   • 00_foundations/: 理论基础文档
   • 10_guides_zero_to_hero/: 从零开始的实践指南
   • 20_templates/: 可复用的上下文模板
   • 30_examples/: 完整的项目示例

基本使用

按照以下三个步骤，从理论理解到代码实战，快速体验 Context Engineering 的核心流程。

1. 理解核心概念 (5 分钟)

首先阅读基础文档，理解为何单一的 Prompt 往往效果有限，以及“上下文工程”如何包含更广泛的信息载荷。

# 查看原子级提示工程的基础理论
cat 00_foundations/01_atoms_prompting.md

核心观点：上下文不仅仅是用户发送的单条指令，而是推理时提供给模型的完整信息负载（包括结构化组件、记忆、状态等）。

2. 运行最小化示例

进入实践指南目录，运行一个最小化的 Python 脚本（类似 Jupyter Notebook 风格），体验如何通过构建上下文来提升模型表现。

# 进入指南目录
cd 10_guides_zero_to_hero

# 运行最小提示示例 (需确保已配置相关 LLM API Key)
python 01_min_prompt.py

注意：运行前请在脚本中或环境变量中配置好你的 OPENAI_API_KEY 或其他兼容的 API Key。

3. 应用上下文模板

复制项目的最小化上下文模板到你的项目中，作为构建复杂 Agent 或对话系统的起点。

# 返回根目录
cd ..

# 查看并复制最小上下文模板
cat 20_templates/minimal_context.yaml

你可以将 minimal_context.yaml 的内容集成到你的应用中，用于定义：

• Few-Shot Examples: 少样本学习示例
• Memory Structure: 记忆持久化结构
• Control Flow: 任务控制流定义

4. 进阶：研究完整案例

查看 30_examples 目录下的玩具聊天机器人实现，观察如何在实际代码中管理上下文窗口、状态和历史记录。

ls 30_examples/00_toy_chatbot/

---

下一步学习路径： 完成上述步骤后，建议按照仓库中的 Learning Path 继续深入：

1. Foundations: 深入学习数学模型和组件处理。
2. System Impl: 探索 RAG 系统和记忆架构。
3. Integration: 研究多智能体编排。