中文 | English

🚀 腾讯悟空代码安全团队推出的仓库级AI生成代码安全评估框架

A.S.E (AICGSecEval) 提供了一个 用于评估AI生成代码安全性的项目级基准测试平台，旨在通过模拟真实开发工作流来评估AI辅助编程的安全性能：

• 代码生成任务 – 源自真实的GitHub项目和权威的CVE补丁，确保任务既具有实际应用价值，又具备高度的安全敏感性。
• 代码生成过程 – 自动提取项目级别的代码上下文，以准确模拟真实的AI编程场景。
• 代码安全评估 – 集成了静态与动态分析相结合的混合评估套件，兼顾检测覆盖范围与验证精度，从而提升安全评估的科学性和实用性。

我们致力于将 A.S.E (AICGSecEval) 打造成一个 开放、可复现且持续发展的社区项目。欢迎您通过 Star、Fork、Issue 或 Pull Request 等方式参与贡献，帮助扩充数据集并完善评估框架。您的关注与支持将助力 A.S.E 不断成长，推动 AI生成代码安全 在 工业界应用 和 学术研究 方面的进一步发展。

目录

• ✨ A.S.E 框架设计
• 🧱 2.0重大升级
• 🚀 快速入门
• 📖 引用
• 🤝 贡献指南
• 🙏 致谢
• 📱 加入社区
• 📄 许可证

✨ A.S.E 框架设计

🧱 2.0重大升级

1️⃣ 数据集升级 – 更广泛覆盖代码生成漏洞场景
涵盖OWASP Top 10和CWE Top 25中的关键风险，涉及C/C++、PHP、Java、Python和JavaScript等主流编程语言中的29种CWE漏洞类型。

2️⃣ 评估目标升级 – 支持代理式编程工具
扩展了评估维度，以更好地反映真实的AI编程场景。

3️⃣ 代码评估升级 – 静态与动态混合评估
引入基于测试用例和漏洞PoC的动态评估方案，形成一种兼具检测广度与验证精度的混合评估框架，显著提升了评估过程的科学性和实用性。

🚀 快速入门

系统要求

内存	磁盘空间	Python	Docker
推荐 ≥16GB	≥100GB	≥3.11	≥27

1. 安装Python依赖

pip install -r requirements.txt

2. 使用一条命令运行评估

# 基本用法
python3 invoke.py [options...] {--llm | --agent} [llm_options... | agent_options...]

# 查看所有可用选项
python3 invoke.py -h

# 示例：LLM评估
python3 invoke.py \
  --llm \
  --model_name gpt-4o-2024-11-20 \
  --base_url https://api.openai.com/v1/ \
  --api_key sk-xxxxxx \
  --batch_id v1.0 \
  --dataset_path ./data/data_v2.json \
  --output_dir ./outputs
  --max_workers 1
  --github_token xxxxx // 如果未提供，则使用匿名克隆，可能会受到克隆速率限制。

# 示例：代理评估
在运行基于代理的评估时，需要注意不同代理可能需要不同的配置（例如模型参数、凭据或API）。启动程序会自动将所有未识别的参数（即不在-h中列出的参数）转发给相应的代理模块进行解析，从而实现对代理特定参数的灵活扩展。

例如，要评估Claude Code，可以运行：

python3 invoke.py \
  --agent \
  --agent_name claude_code \
  --batch_id v1.0 \
  --dataset_path ./data/data_v2.json \
  --claude_api_url https://ai.nengyongai.cn \
  --claude_api_key sk-XXXXX \
  --claude_model claude-sonnet-4-20250514
  --github_token xxxxx // 如果未提供，则使用匿名克隆，可能会受到克隆速率限制。

其中，--claude_XXX选项将由代理评估模块直接解析并使用。

注意事项
1️⃣ 全量评估可能耗时较长，具体取决于您的硬件配置。您可以通过调整--max_workers来提高并发度，从而缩短总执行时间。
2️⃣ 该工具支持自动检查点恢复——如果执行过程中断，只需重新运行命令即可从上次的状态继续执行。

📖 引用

如果您在研究中使用或引用了 A.S.E 或其评估结果，请按以下格式引用：

@misc{lian2025aserepositorylevelbenchmarkevaluating,
      title={A.S.E: 用于评估 AI 生成代码安全性的仓库级基准测试}, 
      author={Keke Lian and Bin Wang and Lei Zhang and Libo Chen and Junjie Wang and Ziming Zhao and Yujiu Yang and Miaoqian Lin and Haotong Duan and Haoran Zhao and Shuang Liao and Mingda Guo and Jiazheng Quan and Yilu Zhong and Chenhao He and Zichuan Chen and Jie Wu and Haoling Li and Zhaoxuan Li and Jiongchi Yu and Hui Li and Dong Zhang},
      year={2025},
      eprint={2508.18106},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2508.18106}, 
}

🤝 贡献指南

A.S.E 致力于构建一个 开放、可复现且持续演进的生态系统，用于评估 AI 生成代码的安全性。 我们诚挚欢迎来自学术界、工业界及开源社区的开发者和研究人员共同参与并为本项目贡献力量。

贡献领域

• 🧠 数据集贡献：扩充真实世界漏洞样本，丰富 SAST 工具与规则，并提供代码功能测试用例及漏洞 PoC。
• ⚙️ 框架优化：改进代码生成逻辑、评估指标及上下文提取策略；支持 Agent 集成与代码重构。
• 💡 讨论与建议：提出新思路、共同制定评估策略，或分享最佳实践。

💬 除上述内容外，我们也欢迎任何形式的参与和支持，包括贡献真实场景用例、提供反馈、完善文档，或加入社区讨论。

参考文档

📌 如您计划参与贡献，请先阅读以下指南，以了解数据格式、提交流程及验证标准。

• 📘 数据集贡献指南
  • 静态数据集贡献
  • 动态数据集贡献
• 📘 Agent 集成指南

社区互动

• 💭 提交问题或建议：通过 Issues
• 💡 头脑风暴与讨论：加入 Discussions

您的积极参与和贡献将助力 A.S.E 更快速地发展、扩大覆盖范围，并推动 AI 生成代码安全评估的开放标准化进程。

🙏 致谢

A.S.E​ 由腾讯安全平台部与以下学术合作伙伴共同开发：

• ​复旦大学​（系统软件与安全实验室）
• 北京大学​（李辉教授团队）
• ​上海交通大学​（网络与系统安全研究所）
• 清华大学​（杨宇炬教授团队）
• 浙江大学​（赵子明助理教授团队）

我们衷心感谢他们对本项目所作出的宝贵贡献。

🙌 贡献者

📱 加入社区

🔗 推荐的安全工具

如果您对 AI 基础设施安全感兴趣，可以参考 A.I.G (AI-Infra-Guard)，这是由腾讯朱雀实验室开发的一款全面、智能且易于使用的 AI 红队平台。

📄 许可证

本项目采用 Apache-2.0 许可证开源。更多详情请参阅 License.txt 文件。

---

AICGSecEval 快速上手指南

AICGSecEval (A.S.E) 是由腾讯悟空代码安全团队推出的仓库级 AI 生成代码安全评估框架。它通过模拟真实开发流程，结合静态与动态分析，科学评估 AI 辅助编程的安全性。

环境准备

在开始之前，请确保您的系统满足以下最低配置要求：

资源类型	要求说明
内存	推荐 ≥ 16GB
磁盘空间	≥ 100GB (用于存储数据集和临时文件)
Python 版本	≥ 3.11
Docker 版本	≥ 27 (用于动态分析沙箱)

提示：动态分析依赖 Docker 容器，请确保 Docker 服务已正常启动且当前用户有执行权限。

安装步骤

1. 克隆项目

首先从 GitHub 克隆源代码：

git clone https://github.com/Tencent/AICGSecEval.git
cd AICGSecEval

2. 安装 Python 依赖

使用 pip 安装所需依赖包：

pip install -r requirements.txt

国内加速建议：如果遇到下载缓慢，建议使用国内镜像源安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

AICGSecEval 支持对 LLM（大语言模型） 和 Agent（智能体） 两种模式进行评估。以下是最基础的 LLM 评估示例。

运行评估命令

请替换命令中的 api_key、base_url 和 github_token 为您的实际配置。

python3 invoke.py \
  --llm \
  --model_name gpt-4o-2024-11-20 \
  --base_url https://api.openai.com/v1/ \
  --api_key sk-xxxxxx \
  --batch_id v1.0 \
  --dataset_path ./data/data_v2.json \
  --output_dir ./outputs \
  --max_workers 1 \
  --github_token xxxxx

参数说明

• --llm：指定评估模式为大语言模型。
• --model_name：目标模型名称（如 gpt-4o-2024-11-20）。
• --base_url & --api_key：模型服务的 API 地址和密钥。
• --dataset_path：评估数据集路径（默认使用 ./data/data_v2.json）。
• --output_dir：评估结果输出目录。
• --max_workers：并发工作数。可根据硬件性能调大以缩短耗时（例如设为 4 或 8）。
• --github_token：GitHub Token。强烈建议提供，否则将使用匿名克隆，可能触发速率限制导致失败。

断点续跑

工具支持自动检查点恢复。如果评估过程中断（如网络错误或手动停止），只需重新运行相同的命令，程序会自动从上次中断的状态继续执行，无需重新开始。

查看帮助

如需查看所有可用参数及 Agent 模式的特定配置，可运行：

python3 invoke.py -h