使用 AlphaCodium 进行代码生成：从提示工程到流程工程

论文 | 数据集

官方实现

Tal Ridnik, Dedy Kredo, Itamar Friedman
CodiumAI

新闻 2024-17-05

更新了 AlphaCodium 排行榜，加入了新 GPT 模型和 Claude3 Opus 的得分。“GPT-4o” 目前是 AlphaCodium 上表现最佳的模型。

目录

• 摘要
• 安装
• 如何运行
• 技术问答
• 更广泛的应用性
• 示例问题
• 致谢
• 引用

摘要

代码生成问题不同于常见的自然语言问题——它们要求匹配目标语言的精确语法、识别正常流程和边界情况、关注问题规范中的众多细节，并解决其他与代码相关的特定问题和需求。因此，在自然语言生成中取得成功的许多优化方法和技巧，可能并不适用于代码任务。

在本工作中，我们提出了一种由大语言模型进行代码生成的新方法，称为 AlphaCodium——一种基于测试的多阶段、面向代码的迭代流程，能够提升大语言模型在代码问题上的性能。

我们在一个名为 CodeContests 的具有挑战性的代码生成数据集上测试了 AlphaCodium，该数据集包含来自 Codeforces 等平台的竞赛编程题目。所提出的流程始终如一地显著提升了结果。例如，在验证集上，使用单一精心设计的直接提示时，GPT-4 的准确率（pass@5）为 19%，而采用 AlphaCodium 流程后则提升至 44%。

我们认为，在这项工作中获得的许多原则和最佳实践，可广泛应用于一般的代码生成任务。

安装

(1) 设置虚拟环境：

python3 -m venv venv
source ./venv/bin/activate

然后运行：pip install -r requirements.txt。

(2) 复制文件 alpha_codium/settings/.secrets_template.toml，将其重命名为 alpha_codium/settings/.secrets.toml，并填写您的 OpenAI API 密钥：

[openai]
key = "..."

(3) 从 hugging face 下载处理后的 CodeContest 验证集和测试集数据，解压 ZIP 文件，并将解压后的文件夹放置在项目根目录下。

如何运行

配置

文件：alpha_codium/settings/configuration.toml 包含项目的配置信息。 在 config 部分，您可以选择要使用的模型（“gpt-4”、“gpt-3.5-turbo-16k”或其他）。

解决 CodeContest 中的特定问题

要使用 AlphaCodium 解决特定问题，从根目录运行：

python -m alpha_codium.solve_problem \
--dataset_name /path/to/dataset \
--split_name test \
--problem_number 0

• dataset_name 是您在安装步骤中下载的数据集文件夹路径。
• 请注意，验证集包含 117 个问题，测试集包含 165 个问题，因此 problem_number 参数应相应设置（从 0 开始）。
• split_name 可以是 valid 或 test。
• 配置文件中的以下部分： solve, self_reflection,possible_solutions,generate_ai_tests,initial_code_generation,public_tests, ai_tests
  允许您调整流程不同阶段的配置选项。
• 每次运行都会将结果记录到名为 alpha_codium/example.log 的文件中。查看日志文件是了解流程各阶段发生情况的好方法。

示例问题（测试集，第 12 题）：

解决整个 CodeContest 数据集的一个子集

要使用 AlphaCodium 解决整个数据集，从根目录运行：

python -m alpha_codium.solve_dataset \
--dataset_name /path/to/dataset \
--split_name test \
--database_solution_path /path/to/output/dir/dataset_output.json

• split_name 可以是 valid 或 test。
• database_solution_path 是保存解决方案的目录路径。
• 配置文件中的 dataset 部分包含运行和评估整个数据集的配置信息。
• 请注意，这是一个耗时的过程，使用大型模型（如 GPT-4）且每个问题需要多次迭代时，可能需要几天时间才能完成。
• dataset.num_iterations 定义每个问题的迭代次数（pass@K）。对于大量迭代，建议每次迭代引入一些随机性和不同的选项，以获得最佳效果。

运行评估

一旦您为整个数据集（验证集或测试集）生成了解决方案，可以通过运行以下命令对其进行评估：

python -m alpha_codium.evaluate_dataset \
--dataset_name /path/to/dataset \
--split_name test \
--database_solution_path /path/to/output/dir/dataset_output.json

解决新问题（CodeContest 格式）

要使用 AlphaCodium 解决自定义问题，首先创建一个包含 CodeContest 问题字段的 JSON 文件，然后从根目录运行：

python -m alpha_codium.solve_my_problem \
--my_problem_json_file /path/to/my_problem.json

• my_problem_json_file 是自定义问题 JSON 文件的路径。

请参阅 my_problem_example.json 以查看自定义问题的示例。JSON 文件应包含以下字段：

• name 是问题名称。
• description 是问题描述。
• （可选）public_tests，包含以下字段：
  • input 是表示输入的字符串列表。
  • output 是表示输出的字符串列表。
• （可选）private_tests，其结构与 public_tests 相同。
• （可选）generated_tests，其结构与 public_tests 相同。

技术问答

汇总了一些我们收到的关于该项目的技术问题：

---

问：与“流程工程”相比，你们在“提示工程”上花了多少时间？

答： 结构化输出几乎完全消除了对简单提示工程的需求。 我们估计大约95%的时间都花在了更高层次的设计、推理以及将数据注入到正确的位置等工作上，也就是所谓的“流程工程”。

---

问：你们如何确保没有发生数据泄露？

答： CodeContests 数据集的测试集包含的是2021年9月之后发布的题目，而我们使用的 GPT-4 模型版本（gpt-4-0613）的数据截止日期为2021年9月。因此，在该测试集上，GPT-4 并不存在数据泄露问题。 对于 DeepSeek 等其他模型，我们无法完全确定。不过需要注意的是，我们的主要结果是比较“直接提示”与“AlphaCodium 流程”的效果。如果存在数据泄露，它会对两种方法都有帮助，因此 AlphaCodium 流程的相对提升仍然有效。

---

问：这个项目是否只适用于特定的编程语言？

答： 不是。所提出的流程与语言无关。我们用 Python 生成了解决方案，但该流程可以应用于任何语言。

---

问：你们是如何管理上下文窗口的？

答： 我们使用了上下文窗口为8192个标记的模型，并未遇到上下文不足的情况。 然而，我们清楚地观察到，当实际使用的上下文规模增大时（比如超过4000个标记），模型会开始“忽略”部分上下文信息。因此，这里存在一个明显的权衡：

• 将前一阶段的结果注入到上下文中，可能有助于模型生成更好的代码。
• 但这也可能导致模型忽略问题描述中的具体细节和细微之处。

---

问：从大语言模型调用次数的角度来看，这项工作是否“现实”？

答： 与 AlphaCode 相比，我们的调用次数少了四个数量级（！）（每个解决方案，AlphaCodium 需要进行15–20次调用）。 尽管如此，我们也承认，对于某些应用场景来说，这仍然可能过多，还需要进一步优化。不过，我们认为，我们在这一工作中获得的许多理念和原则具有广泛的适用性，即使在进一步限制调用次数的情况下也是如此。

---

问：为什么你们只迭代生成的代码，而不迭代由 AI 生成的测试用例？

答： 在 CodeContests 的代码问题中，测试用例是一组输入-输出对。因此，当你“修复”一个测试用例时，并不会学到任何新东西——你只是将其输出改为生成代码的预测结果。与其修复测试用例，我们更倾向于始终尝试修复代码，同时利用“测试锚点”。（更多详情请参阅论文） 然而，对于其他代码生成任务，如果测试用例更为复杂且包含可运行的代码，那么在迭代生成代码的同时也迭代测试用例，可能会更有益处。

更广泛的适用性

虽然这项工作是在 CodeContests 数据集上展示的结果，但我们相信它具有更广泛的适用性。

首先，我们认为，经过合理调整后的 AlphaCodium 流程，可以作为其他代码生成任务的通用框架。

其次，我们在本工作中获得的许多设计概念、原则和技巧，可以直接广泛应用于任何一般的代码生成任务。例如：

• YAML 结构化输出：要求模型以 YAML 格式生成与给定 Pydantic 类等效的输出。
• 通过项目符号分析进行语义推理：项目符号分析能够促进对问题的深入理解，并迫使模型将输出划分为逻辑清晰的语义部分，从而带来更好的结果。
• 大语言模型生成模块化代码效果更好：当我们要求模型将生成的代码拆分为多个小函数，并赋予它们有意义的名称和功能时，我们会观察到生成的代码质量更高、错误更少，并且在迭代修复阶段的成功率也更高。
• 双重验证下的软决策：通过双重验证流程，我们增加了一个额外的步骤，即在生成输出后，再次要求模型重新生成相同的输出，必要时进行修正。
• 留出探索空间：由于模型可能会出错，最好避免做出不可逆的决定，而是留出一定的探索空间，以便尝试不同的解决方案并进行代码迭代。

以上列举的内容仅为部分示例。更多详细信息请参阅论文。本仓库提供的代码（链接）可作为参考，帮助更好地理解这些概念，并将其应用于其他代码生成任务。

示例问题

在这一部分，我们展示了一个来自 CodeContests 数据集的完整问题示例（测试集，第1题），以说明该数据集中问题的复杂性，以及它们对大语言模型带来的挑战。

题目名称：‘1575_B. 建造游乐园’

题目描述：
Chanek 先生居住在一个可以用平面表示的城市里。他想建造一个半径为 r 的圆形游乐园，且该圆必须与原点（点 (0, 0)）相切。
城市中有 n 个鸟类栖息地，这些地方可以作为游客在游乐园内的拍照点。第 i 个鸟类栖息地位于点 p_i = (x_i, y_i)。

请找出至少包含 k 个鸟类栖息地的游乐园的最小半径 r。

只有当点 p_i 到游乐园中心的距离小于或等于游乐园的半径时，才被认为位于游乐园内部。
请注意，游乐园的中心位置和半径不必是整数。

本题保证给定的输入总是存在满足 r ≤ 2 × 10^5 的解。

输入

第一行包含两个整数 n 和 k (1 ≤ n ≤ 10^5, 1 ≤ k ≤ n)，分别表示城市中的鸟类栖息地数量以及游乐园内需要包含的鸟类栖息地数量。
接下来的 n 行中，第 i 行包含两个整数 x_i 和 y_i (0 ≤ |x_i|, |y_i| ≤ 10^5)，表示第 i 个鸟类栖息地的位置。

输出

输出一个实数 r，表示至少包含 k 个鸟类栖息地的游乐园的最小半径。本题保证给定的输入总是存在满足 r ≤ 2 × 10^5 的解。
你的答案被认为是正确的，当且仅当其绝对误差或相对误差不超过 10^{-4}。
形式上讲，设你的答案为 a，裁判的答案为 b。你的答案被接受，当且仅当 \frac{|a - b|}{max{(1, |b|)}} ≤ 10^{-4}。

示例

输入

8 4
-3 1
-4 4
1 5
2 2
2 -2
-2 -4
-1 -1
-6 0

输出

3.1622776589


输入

1 1
0 0


输出

0.0000000000

注释

在第一个示例中，Chanek 先生可以将游乐园的中心设置在 (-3, -1)，此时半径为 √{10} ≈ 3.162。可以证明这是最小的 r。

致谢

我们的数据集 CodeContests 是基于原始的 CodeContests 数据集构建的。 我们移除了与本工作无关的训练集，并对验证集和测试集进行了一些后处理和清洗。

引用

@misc{ridnik2024code,
      title={使用 AlphaCodium 进行代码生成：从提示工程到流程工程}, 
      author={Tal Ridnik、Dedy Kredo 和 Itamar Friedman},
      year={2024},
      eprint={2401.08500},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

AlphaCodium 快速上手指南

AlphaCodium 是一个基于“流工程（Flow Engineering）”的代码生成框架。它通过多阶段、基于测试的迭代流程，显著提升了大语言模型（LLM）在解决复杂编程问题（如竞争性编程）上的准确率。

环境准备

• 系统要求：Linux 或 macOS（Windows 用户建议使用 WSL2）
• Python 版本：Python 3.8 或更高版本
• 前置依赖：
  • Git
  • pip
  • OpenAI API Key（或其他兼容模型的 API Key）

安装步骤

1. 克隆项目并设置虚拟环境

git clone https://github.com/Codium-ai/AlphaCodium.git
cd AlphaCodium
python3 -m venv venv
source ./venv/bin/activate
pip install -r requirements.txt

提示：国内用户若下载依赖较慢，可指定清华源加速安装： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 配置 API Key

复制配置文件模板并填入你的 API Key：

cp alpha_codium/settings/.secrets_template.toml alpha_codium/settings/.secrets.toml

编辑 alpha_codium/settings/.secrets.toml 文件，填入密钥：

[openai]
key = "sk-..."

3. 下载数据集

从 Hugging Face 下载处理好的 CodeContests 验证集和测试集，解压后放入项目根目录。

• 下载地址：CodeContests Valid & Test Dataset
• 操作：解压后的文件夹应直接位于项目根目录下。

基本使用

1. 配置模型

编辑 alpha_codium/settings/configuration.toml 文件，在 [config] 部分选择你要使用的模型（例如 "gpt-4", "gpt-4o", "gpt-3.5-turbo-16k" 等）。

2. 解决单个问题

运行以下命令来解决数据集中的特定问题（以测试集第 0 题为例）：

python -m alpha_codium.solve_problem \
--dataset_name /path/to/dataset \
--split_name test \
--problem_number 0

参数说明：

• --dataset_name: 步骤 3 中下载并解压的数据集文件夹路径。
• --split_name: 数据集划分，可选 valid (验证集，117 题) 或 test (测试集，165 题)。
• --problem_number: 题目编号（从 0 开始）。

运行结果和详细日志将保存在 alpha_codium/example.log，可通过查看该文件了解各阶段的执行细节。

3. 解决自定义问题

如果你有自己的编程问题（符合 CodeContest 格式），可以创建一个 JSON 文件（参考 my_problem_example.json），包含 name, description, 以及可选的 public_tests 等字段，然后运行：

python -m alpha_codium.solve_my_problem \
--my_problem_json_file /path/to/my_problem.json

4. 批量运行与评估（可选）

若要跑完整个数据集（耗时较长，需数天），可使用：

python -m alpha_codium.solve_dataset \
--dataset_name /path/to/dataset \
--split_name test \
--database_solution_path /path/to/output/dir/dataset_output.json

生成解决方案后，运行评估：

python -m alpha_codium.evaluate_dataset \
--dataset_name /path/to/dataset \
--split_name test \
--database_solution_path /path/to/output/dir/dataset_output.json