CGM：代码图大语言模型

目录

• 新闻
• 简介
• 安装
• 示例
  • 重写器
  • 检索器
  • 重新排序器
  • 阅读器
• 贡献
• 引用
• 加入我们

新闻

🔥🔥🔥 [2025/09/19] 我们的论文代码图模型（CGM）：一种用于仓库级软件工程任务的图集成大型语言模型已被NeurIPS 2025接收！

🔥🔥🔥 [2025/01/15] 我们很高兴地宣布CGM-72B-V1.2版本更新。该模型在SWE-Bench-Lite排行榜上进一步取得了令人瞩目的44.00%解决率。

🔥🔥🔥 [2024/12/28] 我们很高兴地宣布CGM-72B-V1.1版本更新。该模型在SWE-Bench-Lite排行榜上进一步取得了令人瞩目的41.67%解决率。

🔥🔥🔥 [2024/10/28] 我们很高兴地宣布，CGM-72B在SWE-Bench-Lite排行榜上取得了35.67%的解决率。

🔥🔥🔥 [2024/10/28] 我们发布了CGM，主要用于仓库级别的编码任务。

• 📜 论文：代码图模型（CGM）：一种用于仓库级软件工程任务的图集成大型语言模型
• 🤖 模型：codefuse-ai/CodeFuse-CGM-72B
• 📊 数据：codefuse-ai/CodeGraph

简介

我们提出了一种基于图的框架CGM，用于解决现实世界的软件工程任务。在CGM开始工作之前，我们通过代码图生成器构建一个仓库级别的代码图，以更好地表示仓库的上下文及其结构。受检索增强生成（RAG）方法的启发，CGM框架被设计为一个由四个原子节点组成的链式结构，针对这一场景称为R4（重写器、检索器、重新排序器和阅读器）链。给定一个问题，CGM框架的初始输入包括问题描述和相应的代码图。重写器首先会通过提取关键词并生成与代码图相关的查询来重写原始问题。然后，检索器会根据重写器输出中的匹配锚点节点，检索出一个启发式的代码子图。由于所得子图提供了相对广泛的参考上下文，我们需要一个重新排序器来识别最有可能被修改的文件，作为进一步的提示。随后，检索到的子图和识别出的文件都会被输入到一个可训练的基于图的阅读器中，以生成相应的代码补丁。

框架

亮点

:white_check_mark: 代码图：在多个任务上训练模型，同时保持各任务之间的平衡。这些模型甚至可以泛化到以前未见过的新任务。

:white_check_mark: 多框架支持：它同时支持Accelerate（结合Deepspeed和FSDP）。

:white_check_mark: 高效微调：它支持LoRA、QLoRA以及全参数训练，使得使用最少资源即可对大型模型进行微调。训练速度几乎满足所有微调场景的需求。

安装

先决条件

• Python 3.8+
• pip

必需包

transformers==4.46.1
tokenizers==0.20.0
accelerate==1.0.1
peft==0.13.2
jinja2==2.11.3
fuzzywuzzy==0.18.0
python-Levenshtein==0.25.1
networkx==3.0

示例

下图展示了R3的整个处理流程。

检索器预处理：生成节点嵌入

在检索器之前，我们需要将

• 代码图中的所有节点嵌入为向量
• 重写器生成的查询嵌入为向量

通过CGE-large完成。

python generate_code_content.py # 此步骤将预处理每个代码图，并从每个节点中提取内容（为每个仓库保存一个.json文件）
python generate_code_embedding.py # 此步骤将使用CGE-large为每个节点生成嵌入（为每个仓库保存一个.pkl文件）
python generate_rewriter_embedding.py # 此步骤将为重写器生成的所有查询生成嵌入（保存一个.pkl文件）

CGE-large的要求

torch==2.1.0
transformers==4.39.2
tokenizers==0.15.2
accelerate==0.28.0

重写器

给定问题元数据，执行以下脚本以生成重写器的结果（包括推理器和提取器）。

python generate_rewriter_prompt.py # 此步骤将生成一个名为 "test_rewriter_prompt.json" 的 JSON 文件，其中包含重写器使用的提示语

python inference_rewriter.py --prompt_path test_rewriter_prompt.json # 此步骤将加载通义千问模型进行推理，并生成重写器的输出文件 "test_rewriter_output.json"

python rewriter_output_post_processing.py # 此步骤将加载重写器的输出文件 "rewriter_output.json"，并生成经过后处理的输出文件 "test_rewriter_output.json"

在 rewriter/prompt.py 中使用函数 generate_prompt_for_extractor 和 generate_prompt_for_inferer：

def generate_prompt_for_extractor(problem_statement, repo_name):
    prompt = """
    <issue>
    {}
    </issue> 
    这是一个与仓库 '{}' 相关的问题。 
    指令：
    1. 分析：
    ○ 分析提供的问题描述。识别涉及的相关文件、类或函数。
    ○ 确定遇到的具体问题或错误，并注意任何可能有助于定位相关或存在问题区域的线索。
    2. 提取：
    ○ 分析完成后，提取所有提到的代码实体（文件、类或函数），尤其是文件。
    ○ 然后提取三个潜在且有意义的关键词，按以下格式回答：

    [start_of_analysis] 
    <detailed_analysis> 
    [end_of_analysis] 

    [start_of_related_code_entities] 
    <entity_name_with_path>
    [end_of_related_code_entities] 

    [start_of_related_keywords] 
    <keywords>
    [end_of_related_keywords]

    注意事项：
    - 请注意错误日志中的信息（如果存在）。
    - 存在缺陷的代码仅存在于问题中描述的项目中（例如 django、sklearn）。缺陷位置通常不在测试文件或外部包中。
    - 您提取的实体应简洁、准确且具有信息量。
    - 如果指定了相对路径，请提供代码实体的相对路径（例如 package/foo.py）。相对路径是相对于仓库本身的，不要包含诸如 '/home/username/'、'/etc/service/' 或 '/tree/master' 等后缀。
    - 在您的提取结果中，请勿包含行号或解释等附加信息。

    推荐的代码实体提取示例：
    - repo/cart.py
    - Class User()
    - def getData()
    推荐的关键词提取示例：
    - train_loop
    - hooks
    - docker
    
    不推荐的关键词提取示例：
    - something wrong
    - input validation
    - TypeError
    """.format(problem_statement, repo_name)
        
    return prompt

def generate_prompt_for_inferer(problem_statement, repo_name):
    prompt = """
    <issue>
    {}
    </issue> 
    这是一个与仓库 '{}' 相关的问题。 
    任务：
    根据提供的问题描述，识别可能需要修改的代码实体（文件、函数、类）的特征。 
    对于每个特征，生成一个搜索查询，以帮助在代码库中找到相关的代码实体。
    指令：
    首先，分析问题描述，识别可能与代码实体修改相关的关键词、功能和特性。
    然后，创建能够捕捉这些特征的查询，重点关注：
    ● 可能实现相关功能的文件名。
    ● 与问题中描述的功能相关的函数或方法。
    ● 可能与所述功能相关的任何模式或结构。
    例如：
    ● 与神经网络初始化相关的文件。
    ● 与训练过程相关的函数。
    ● 用于配置服务的代码。
    请按照以下格式回答：

    [start_of_analysis] 
    <detailed_analysis> 
    [end_of_analysis] 

    [start_of_related_queries] 
    query 1:
    query 2:
    ...
    [end_of_related_queries] 

    注意事项：
    - 您的查询应详细、准确且具有信息量。 
    - 查询应为完整的句子，不得包含额外的解释。
    - 查询数量最多为五个，因此请专注于重要的特征。
    - 您的查询应聚焦于仓库本身的代码，而非提交历史等其他信息。
    - 请注意错误日志中的信息（如果存在）。

    推荐的查询示例：
    - 在训练循环文件中查找对 'tqdm' 或 'progress_bar' 的引用，以确定当前进度条更新的位置。
    - 查找调用 'socket' 模块中 'gethostbyname' 函数的代码片段。
    - 文件名包含 'mysql.py' 并且包含与 'MySQLStatementSamples' 初始化相关的函数。
    - 在 'datadog_checks' 目录中处理主机名解析或编码的函数或方法。
    - 在同时提及 'Trainer' 的文件中查找所有出现 'early_stopping' 的地方，以确定早期停止逻辑的实施位置，并可能需要针对非默认的 'val_check_interval' 进行调整。
    """.format(problem_statement, repo_name)
        
    return prompt

您可以通过以下方式使用重写器的提示语：

from rewriter.prompt import generate_prompt_for_extractor, generate_prompt_for_inferer

# 生成提取提示语
extraction_prompt = generate_prompt_for_extractor(problem_statement, repo_name)

# 生成推理提示语
inference_prompt = generate_prompt_for_inferer(problem_statement, repo_name)

检索器

现在我们有：

• 原始代码图：codegraph/
• 代码图的节点嵌入：node_embedding/
• 重写器推理器的查询嵌入：rewriter_embedding.pkl
• 重写器提取器的输出：rewriter_output.json

然后我们可以执行检索器：

python locate_anchor_node.py # 此步骤将使用上述输入，为所有样本生成锚点节点文件 "anchor_node.json"
python subgraph.py # 此步骤将进一步扩展锚点节点，形成一个连通子图（保存为一组节点 ID）
python serialize_subgraph.py # 基于上述子图的节点 ID，此步骤会将子图序列化为 JSON 格式（即检索器的最终输出）

检索器所需依赖：

RapidFuzz==1.5.0
faiss-cpu

重排序器

重排序器用于从检索器生成的子图中确定最相关的文件。输入是检索器的输出——子图 JSON 文件。

python reranker.py --stage_1_k 10 --stage_2_k 5 # 此步骤将加载子图 JSON 文件并生成重排序器的输出。

重排序器的要求：

vllm>=0.8.5

使用 reranker/prompt.py 中的函数 generate_prompt_for_reranker_stage_1 和 generate_prompt_for_reranker_stage_2：

"""
重排序器提示模板
"""

reranker_stage_1_system_prompt = """
你是一位经验丰富的软件开发人员，擅长从大量参考文件中提取解决特定问题最相关的文件。

任务：
根据从代码库中获取的问题相关信息，从可能有助于解决问题的文件中找出最有可能的几份文件。

指令：
1. 分析：
- 分析提供的问题描述和文件，重点关注这些文件与问题的相关性，尤其是那些在修复问题时可能被修改的文件。
- 确定问题中提到的具体问题或错误，并注意任何有助于判断的线索。
2. 提取：
- 根据你的分析，选择最相关的 **1** 份文件，这些文件可能用于修复该问题。
- 你应从提供的文件中选择，且不得以任何方式修改文件名。

请按照以下格式作答：
[start_of_analysis]
<detailed_analysis> 
[end_of_analysis] 

[start_of_relevant_files] 
1. <file_with_its_path>
2. <file_with_its_path>
3. ...
[end_of_relevant_files] 

注：
- 你可以参考错误日志中的信息（如果存在）。
- 相关文件通常存在于问题描述的项目中（例如，django、sklearn）。需要修改的文件通常不在测试文件或外部包中。
- 你选择的文件必须包含在提供的文件列表中。
- 提供文件的完整路径，不要添加冗余后缀，如 '/home/username/'、'/etc/service/' 或 '/tree/master'。
- 在你的提取结果中不要包含行号或解释等额外信息。
- 初始化和配置文件在代码更改过程中可能会被修改。

相关文件提取示例：
1. src/utils/file_handler.py
2. core/services/service_manager.py
3. ...
""".strip()

reranker_stage_1_user_prompt_template = """
<repository>
{}
</repository>

<issue>
{}
</issue>
 
<reference_python_file_list>
{}
</reference_python_file_list>

<other_reference_file_list>
{}
</other_reference_file_list>
"""

reranker_stage_2_system_prompt = """
你是一位经验丰富的软件开发人员，擅长评估文件在软件仓库中解决特定问题时的相关性。

任务：
针对给定的文件，评估修改该文件是否能够解决所提出的问题，并根据特定标准给出评分。

指令：
1. 分析：
- 分析提供的问题描述和单个相关文件的内容，注意其中提及的与文件相关的关键词、错误消息或具体功能。
- 确定文件内容和功能与问题中描述的问题或错误之间的关联程度。
- 考虑文件在整个项目结构中的角色（例如，配置文件、核心逻辑文件与测试文件或工具脚本的区别）。
2. 评分：
- 根据你的分析，给出 1 到 5 分的评分，表示修改该文件对解决问题的相关程度。

评分说明：
1. **1 分**：该文件几乎肯定与问题无关，与问题中描述的功能或错误没有任何明显联系。
2. **2 分**：该文件可能与问题有间接关系，但修改它不太可能直接解决问题；仅在极少数情况下才有可能。
3. **3 分**：该文件与问题有一定相关性；它可能间接影响受影响的功能，对其进行调整可能是更广泛修复的一部分。
4. **4 分**：该文件很可能与问题相关；其中包含与相关功能直接交互的代码，很可能存在导致问题的缺陷。
5. **5 分**：该文件很可能是问题的根本原因或深度参与了问题，修改它应该可以直接解决所提到的错误或问题。

请按照以下格式作答：
[start_of_analysis]
<detailed_analysis>
[end_of_analysis]

[start_of_score]
Score <number>
[end_of_score]

注：
- 文件内容仅展示该文件的结构，包括其中定义的类和函数名称。
- 你可以参考错误日志中的信息（如果存在）。
""".strip()

reranker_stage_2_user_prompt_template = """
<repository>
{}
</repository>

<issue>
{}
</issue>

<file_name>
{}
</file_name>

<file_content>
{}
</file_content>
"""

def generate_prompt_for_reranker_stage_1(problem_statement, repo_name, py_file, other_file):
  """
  problem_statement: 问题
  repo_name: 代码库
  py_file: Python 文件列表
  other_file: 其他相关文件列表
  """
  return reranker_stage_1_system_prompt, reranker_stage_1_user_prompt_template.format(repo_name, problem_statement, py_file, other_file)

def generate_prompt_for_reranker_stage_2(problem_statement, repo_name, file_name, file_content):
  """
  problem_statement: 问题
  repo_name: 代码库
  file_name: 文件名
  file_content: 文件内容（class xxx 和 def xxx）
  """
  return reranker_stage_2_system_prompt, reranker_stage_2_user_prompt_template.format(repo_name, problem_statement, file_name, file_content)

你可以通过以下方式使用重排序器提示：

from reranker.prompt import generate_prompt_for_reranker_stage_1, generate_prompt_for_reranker_stage_2

# 第一阶段：识别相关文件
system_prompt, user_prompt = generate_prompt_for_reranker_stage_1(
    problem_statement, 
    repo_name, 
    py_file_list, 
    other_file_list
)

# 第二阶段：评估文件相关性
system_prompt, user_prompt = generate_prompt_for_reranker_stage_2(
    problem_statement,
    repo_name,
    target_file,
    file_content
)

阅读器

使用 DeepSpeed 配置运行阅读器模块：

# Zero-2 配置
EXPORT N_NODE={YOUR_MACHINE_NUM} && \
EXPORT N_GPU_PER_NODE={YOUR_GPU_NUM} && \
EXPORT TRAIN_CONFIG={TRAIN_CONFIG}.json && \
bash launch/zero2.sh

# Zero-3 配置
EXPORT N_NODE={YOUR_MACHINE_NUM} && \
EXPORT N_GPU_PER_NODE={YOUR_GPU_NUM} && \
EXPORT TRAIN_CONFIG={TRAIN_CONFIG}.json && \
bash launch/zero3.sh

贡献

我们欢迎各种形式的贡献！如果您有任何建议、想法、错误报告，或是希望新增支持的模型或功能，请随时提交一个问题或拉取请求。

我们非常欢迎社区的参与！请按照以下步骤进行贡献：

1. 克隆仓库并创建分支
2. 在您的分支上开发新功能或修复问题
3. 提交更改
4. 将更改推送到您的分支
5. 打开一个拉取请求

对于重大变更，请先提交一个问题，与我们讨论您的计划。

引用

如果您觉得我们的工作对您的研发工作有所帮助或有价值，请随时引用我们的论文，引用格式如下：

@misc{tao2025codegraphmodelcgm,
      title={代码图模型 (CGM)：一种用于仓库级软件工程任务的图融合大型语言模型}, 
      author={Hongyuan Tao, Ying Zhang, Zhenhao Tang, Hongen Peng, Xukun Zhu, Bingchang Liu, Yingguang Yang, Ziyin Zhang, Zhaogui Xu, Haipeng Zhang, Linchao Zhu, Rui Wang, Hang Yu, Jianguo Li, Peng Di},
      year={2025},
      eprint={2505.16901},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2505.16901}, 
}

加入我们

我们是蚂蚁集团平台技术事业群下的 AI Native 团队，专注于推动蚂蚁集团平台工程的智能化发展。团队成立三年多来，在支撑蚂蚁集团云计算基础设施的智能化运维方面发挥了关键作用。我们的使命是通过世界级的技术创新与影响力，构建具有广泛用户基础的算法服务与平台，助力内外部产品与业务的落地实施。

秉持创新驱动的理念，我们不仅支持业务落地，更致力于提升技术影响力。过去三年中，我们在 ICLR、NeurIPS、KDD 和 ACL 等顶级会议上发表了20余篇论文。我们的创新性业务成果荣获了蚂蚁集团两项最高级别的 T-Star 奖以及一项 SuperMA 奖。我们的开源项目 CodeFuse 截至2024年2月已获得4000颗星，相关模型在 Huggingface 和 Modelscope 上的下载量超过150万次。

我们正在寻找顶尖人才加入这个充满活力的团队！如果您渴望在一个充满活力、创新精神和卓越文化的工作环境中发展自己的职业生涯，欢迎您了解我们的校招和社招职位信息。加入我们，共同创造行业的新里程碑！

联系方式: hyu.hugo@antgroup.com

CodeFuse-CGM 快速上手指南

CodeFuse-CGM 是一个基于代码图（Code Graph）的大语言模型框架，专为仓库级（Repository-Level）软件工程任务设计。它通过 R4 链式结构（Rewriter, Retriever, Reranker, Reader）理解代码上下文并生成修复补丁。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS (推荐)
• Python 版本: 3.8 或更高
• 包管理器: pip
• 硬件建议: 运行 72B 模型及进行微调需要高性能 GPU（支持 DeepSpeed/FSDP）。

安装步骤

1. 安装核心依赖

创建虚拟环境并安装主要依赖包：

pip install transformers==4.46.1 tokenizers==0.20.0 accelerate==1.0.1 peft==0.13.2 jinja2==2.11.3 fuzzywuzzy==0.18.0 python-Levenshtein==0.25.1 networkx==3.0

提示：国内用户可使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装组件特定依赖

根据您打算使用的模块，需额外安装以下依赖：

用于检索器预处理 (CGE-large 嵌入生成):

pip install torch==2.1.0 transformers==4.39.2 tokenizers==0.15.2 accelerate==0.28.0

用于检索器 (Retriever):

pip install RapidFuzz==1.5.0 faiss-cpu

用于重排序器 (Reranker):

pip install "vllm>=0.8.5"

基本使用流程

CGM 的核心工作流包含四个阶段：重写 (Rewriter) -> 检索 (Retriever) -> 重排序 (Reranker) -> 读取/生成 (Reader)。以下是简化的执行步骤：

第一步：数据预处理 (生成节点嵌入)

在使用检索器前，需利用 CGE-large 模型将代码图节点和查询语句转化为向量嵌入。

# 1. 提取代码图节点内容
python generate_code_content.py

# 2. 为每个节点生成嵌入 (输出 .pkl 文件)
python generate_code_embedding.py

# 3. 为重写器生成的查询语句生成嵌入 (输出 .pkl 文件)
python generate_rewriter_embedding.py

第二步：重写器 (Rewriter)

解析 Issue 描述，提取关键代码实体并生成搜索查询。

# 1. 生成提示词
python generate_rewriter_prompt.py

# 2. 加载模型进行推理 (需指定 Qwen 模型)
python inference_rewriter.py --prompt_path test_rewriter_prompt.json

# 3. 后处理输出结果
python rewriter_output_post_processing.py

编程调用示例:

from rewriter.prompt import generate_prompt_for_extractor, generate_prompt_for_inferer

# 生成提取器提示词
extraction_prompt = generate_prompt_for_extractor(problem_statement, repo_name)

# 生成推理器提示词
inference_prompt = generate_prompt_for_inferer(problem_statement, repo_name)

第三步：检索器 (Retriever)

基于重写器的输出，从代码图中定位锚点节点并扩展为子图。

# 1. 定位锚点节点
python locate_anchor_node.py

# 2. 扩展为连通子图
python subgraph.py

# 3. 序列化子图为 JSON 格式
python serialize_subgraph.py

第四步：重排序器 (Reranker)

从检索到的子图中筛选出最可能需要修改的文件。

# 加载子图并进行两阶段重排序
python reranker.py --stage_1_k 10 --stage_2_k 5

完成上述步骤后，最终的子图上下文和筛选出的文件将输入到 Reader 模块（基于图的训练模型），以生成最终的代码修复补丁。

---

更多详细信息、模型权重及数据集请访问 Hugging Face: codefuse-ai