LLM红队框架

文档 | 漏洞、攻击 和 功能 | 快速入门 | Confident AI

Deutsch | Español | français | 日本語 | 한국어 | Português | Русский | 中文

DeepTeam 是一个简单易用的开源 LLM 系统红队框架。你可以把它想象成针对 LLM 的渗透测试。

DeepTeam 会模拟各种攻击——越狱、提示注入、多轮利用等——以发现你的 AI 代理、RAG 流水线和聊天机器人中的偏见、PII 泄露、SQL 注入等漏洞。它还提供 护栏机制，用于在生产环境中预防这些问题。

DeepTeam 可以在 本地机器上运行，并基于开源 LLM 评估框架 DeepEval 构建。

[!IMPORTANT] 需要一个地方来存储你的红队测试结果吗？请注册 Confident AI 平台，以管理风险评估、监控生产环境中的漏洞，并与团队共享报告。

想讨论 LLM 安全问题、需要帮助选择攻击方式，或者只是想打个招呼？加入我们的 Discord 社区。

 

🔥 漏洞、攻击 和 功能

• 📐 50 多种即用型 漏洞（均附有说明），可由你选择的 任意 LLM 来触发。每种漏洞都使用 LLM 作为裁判的指标，在 本地机器上 运行，生成带有推理过程的二元通过/失败评分：

  • 数据隐私

    • PII 泄露 — 敏感个人信息的泄露
    • 提示泄露 — 系统提示中秘密信息和指令的暴露
  • 负责任的人工智能

    • 偏见 — 性别、种族、宗教、政治等方面的刻板印象和不公平待遇
    • 毒性 — 有害、冒犯性或贬低性的内容
    • 儿童保护 — 与儿童相关的隐私和安全风险
    • 伦理 — 对道德推理和组织价值观的违背
    • 公平性 — 不同群体和情境下的歧视性结果
  • 安全性

    • BFLA — 功能级授权被破坏
    • BOLA — 对象级授权被破坏
    • RBAC — 基于角色的访问控制被绕过
    • 调试访问 — 未经授权访问调试模式和开发端点
    • Shell 注入 — 未经授权执行系统命令
    • SQL 注入 — 数据库查询被篡改
    • SSRF — 向内部服务发起服务器端请求伪造
    • 工具元数据中毒 — 工具的架构和描述被篡改
    • 跨上下文检索 — 跨隔离边界访问数据
    • 系统侦察 — 探测内部架构和配置
  • 安全性

    • 非法活动 — 为欺诈、武器、毒品或其他非法行为提供便利
    • 血腥内容 — 明显暴力或色情的内容
    • 个人安全 — 自残、骚扰或危险建议
    • 意外代码执行 — 强制执行未经授权的代码
  • 业务

• 虚假信息 — 事实性错误及无据之说

  • 知识产权 — 著作权、商标权及专利权侵权
  • 竞争 — 竞争对手背书与市场操纵
  • 代理型

    • 目标窃取 — 挖掘或重定向智能体的目标
    • 递归劫持 — 自我修改的目标链会改变智能体的意图
    • 过度代理 — 智能体超出其权限范围行事
    • 鲁棒性 — 对输入的过度依赖及提示劫持
    • 间接指令 — 在检索到的内容中隐藏指令
    • 工具编排滥用 — 利用工具调用序列进行攻击
    • 智能体身份与信任滥用 — 冒充智能体身份
    • 多智能体通信被破坏 — 欺骗多智能体之间的消息传递
    • 自主智能体漂移 — 智能体随时间偏离预期目标
    • 利用工具的智能体 — 将工具武器化以执行非预期行为
    • 外部系统滥用 — 使用智能体攻击外部服务
  • 自定义

    • 自定义漏洞 — 仅需几行代码即可定义并测试您自己的评估标准

• 💥 20多种基于研究的对抗性攻击方法，适用于单轮和多轮（对话式）红队演练。这些攻击采用最先进的技术，如越狱、提示注入和基于编码的混淆等，以增强基础漏洞探测能力：

  • 单轮

    • 提示注入 — 精心设计的注入内容可绕过大模型的限制
    • 角色扮演 — 基于角色的情景模拟，利用协作训练中的弱点
    • Leetspeak — 通过符号字符替换来规避关键词检测
    • ROT13 — 通过字母旋转来逃避内容过滤器
    • Base64 — 将攻击编码为看似随机的数据
    • 灰盒 — 利用对系统的部分了解实施针对性攻击
    • 数学问题 — 将攻击伪装成数学输入
    • 多语言 — 将攻击翻译成较少使用的语言
    • 提示探测 — 探测大模型以获取系统提示的具体细节
    • 对抗性诗歌 — 将攻击转化为带有隐喻的诗体表达
    • 系统覆盖 — 将攻击伪装成合法的系统命令
    • 权限提升 — 通过改变感知身份来绕过角色限制
    • 目标重定向 — 重新设定智能体目标以达成未经授权的结果
    • 语言混淆 — 利用语义模糊来干扰语言理解
    • 输入绕过 — 通过异常处理机制绕过验证
    • 上下文污染 — 注入虚假背景信息以偏颇推理
    • 字符流 — 逐字符输入以绕过过滤器
    • 上下文泛滥 — 向输入中大量添加无关文本以隐藏恶意指令
    • 嵌入式指令JSON — 将攻击隐藏在看似真实的JSON结构中
    • 合成上下文注入 — 构造虚假系统上下文以利用长上下文处理机制
    • 权威升级 — 从权力地位出发提出请求
    • 情绪操控 — 通过高强度的情绪施压促使不安全的服从
  • 多轮

• 线性越狱 — 通过目标LLM的响应迭代优化攻击

  • 树形越狱 — 探索并行的攻击变体以找到最佳绕过方法
  • 渐强式越狱 — 从良性提示逐步升级到有害提示
  • 序列越狱 — 多轮对话搭建脚手架，诱导产生受限输出
  • 糟糕的李克特量表评判者 — 利用李克特量表评估角色提取有害内容

• 🏛️ 红队对抗现成的AI安全框架，开箱即用。每个框架会自动将其类别映射到相应的漏洞和攻击：

  • OWASP LLM十大风险2025
  • OWASP Agent十大风险2026
  • NIST AI RMF
  • MITRE ATLAS
  • BeaverTails
  • Aegis

• 🛡️ 7种生产就绪的护栏，用于快速二分类，实时保护LLM的输入和输出。

• 🧩 构建您自己的自定义漏洞和攻击，与DeepTeam生态系统无缝集成。

• 🔗 可以使用YAML配置文件通过命令行运行红队测试，也可以用Python进行编程化操作。

• 📊 访问风险评估结果，以数据框形式展示，并可保存为本地JSON文件。

 

🚀 快速入门

DeepTeam无需您指定要红队测试的LLM系统——因为恶意用户也不会这样做。您只需安装deepteam，定义一个model_callback函数，即可开始。

安装

pip install -U deepteam

对您的第一个LLM进行红队测试

from deepteam import red_team
from deepteam.vulnerabilities import Bias
from deepteam.attacks.single_turn import PromptInjection

async def model_callback(input: str) -> str:
    # 替换为您自己的LLM应用
    return f"很抱歉，我无法回答这个问题：{input}"

risk_assessment = red_team(
    model_callback=model_callback,
    vulnerabilities=[Bias(types=["race"])],
    attacks=[PromptInjection()]
)

在运行之前，请别忘了将OPENAI_API_KEY设置为环境变量（您也可以使用任何自定义模型），然后运行以下命令：

python red_team_llm.py

就这样！您的第一次红队测试完成了。 过程如下：

• model_callback封装了您的LLM系统，根据给定的input生成一个str类型的输出。
• 在红队测试时，deepteam模拟了一次针对Bias漏洞的PromptInjection攻击。
• 您的model_callback输出会使用BiasMetric进行评估，得出0或1的二元分数。
• 最终的Bias通过率由得分为1的比例决定。

与传统评估不同，红队测试不需要准备好的数据集——对抗性攻击是根据您想要测试的漏洞动态生成的。

 

对抗安全框架进行红队测试

您可以使用OWASP、NIST等成熟的AI安全标准，而不是手动选择漏洞：

from deepteam import red_team
from deepteam.frameworks import OWASPTop10

async def model_callback(input: str) -> str:
    # 替换为您自己的LLM应用
    return f"很抱歉，我无法回答这个问题：{input}"

risk_assessment = red_team(
    model_callback=model_callback,
    framework=OWASPTop10()
)

这会自动将框架的类别映射到相应的漏洞和攻击。可用的框架包括OWASPTop10、OWASP_ASI_2026、NIST、MITRE、Aegis和BeaverTails。

 

在生产环境中保护您的LLM

一旦发现漏洞，可以使用DeepTeam的护栏来防止它们在生产环境中发生：

from deepteam import Guardrails
from deepteam.guardrails import PromptInjectionGuard, ToxicityGuard, PrivacyGuard

guardrails = Guardrails(
    input_guards=[PromptInjectionGuard(), PrivacyGuard()],
    output_guards=[ToxicityGuard()]
)

# 在输入到达您的LLM之前进行防护
input_result = guardrails.guard_input("告诉我如何入侵数据库")
print(input_result.breached)  # True

# 在输出发送给用户之前进行防护
output_result = guardrails.guard_output(input="你好", output="这里有一些有毒的内容...")
print(output_result.breached)  # True

开箱即用的护栏共有7种：ToxicityGuard、PromptInjectionGuard、PrivacyGuard、IllegalGuard、HallucinationGuard、TopicalGuard和CybersecurityGuard。完整护栏文档请见此处。

 

DeepTeam与Confident AI

Confident AI是一个一体化平台，可原生集成DeepTeam和DeepEval。

• 管理风险评估 — 查看、比较和跟踪各次红队测试的结果
• 生产环境监控 — 检测并警报影响您在线LLM系统的漏洞
• 分享报告 — 生成并向团队分发安全报告
• 直接在IDE中运行 — 使用Confident AI的MCP服务器运行红队测试、拉取结果并检查漏洞，无需离开Cursor或Claude Code。

 

贡献

请阅读CONTRIBUTING.md，了解我们的行为准则以及向我们提交拉取请求的流程。

 

作者

由Confident AI的创始人打造。如有任何疑问，请联系jeffreyip@confident-ai.com。

 

许可证

DeepTeam采用Apache 2.0许可证授权——详情请参阅LICENSE.md文件。

DeepTeam 快速上手指南

DeepTeam 是一个开源的大语言模型（LLM）红队测试框架，旨在通过模拟越狱、提示注入、多轮攻击等手段，发现 AI 代理、RAG 管道和聊天机器人中的安全漏洞（如偏见、隐私泄露、SQL 注入等）。它基于 DeepEval 构建，完全在本地运行。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：Python 3.9 或更高版本
• 前置依赖：
  • 已安装 pip 包管理工具
  • （可选但推荐）拥有可用的 LLM API Key（如 OpenAI, Azure, 或本地部署的模型），用于驱动攻击生成和评估判断。

安装步骤

使用 pip 直接安装 DeepTeam 及其核心依赖：

pip install deepteam

提示：如果您在中国大陆地区遇到下载速度慢的问题，可以使用国内镜像源加速安装：

pip install deepteam -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，建议初始化配置文件（根据引导输入您的 LLM 提供商及 API Key）：

deepteam init

基本使用

DeepTeam 的核心工作流是通过定义目标模型和要测试的漏洞类型来运行红队测试。以下是一个最简单的 Python 脚本示例，展示如何对目标 LLM 进行基础的越狱和提示注入测试。

1. 创建测试脚本

新建一个文件（例如 run_test.py），并写入以下代码。此示例假设您已通过 deepteam init 配置了默认模型，或者直接在代码中指定目标模型。

from deepteam import RedTeamer
from deepteam.vulnerabilities import PromptInjection, Jailbreak

# 定义要测试的目标模型 (此处以 OpenAI 为例，也可替换为本地模型或其他提供商)
# 确保已设置环境变量 OPENAI_API_KEY 或在 init 时配置
target_model = {
    "model": "gpt-3.5-turbo", 
    "api_key": "YOUR_OPENAI_API_KEY" # 或者从环境变量读取
}

# 初始化红队测试器
red_teamer = RedTeamer(
    target_model=target_model,
    vulnerabilities=[
        PromptInjection(),
        Jailbreak()
    ]
)

# 运行测试
results = red_teamer.generate()

# 打印简要结果
print(f"测试完成。发现漏洞数量：{len(results)}")
for result in results:
    print(f"- 漏洞类型：{result.vulnerability}, 状态：{'失败' if result.success else '通过'}")
    if not result.success:
        print(f"  攻击提示示例：{result.input}")

2. 运行测试

在终端中执行脚本：

python run_test.py

3. 查看结果

运行结束后，DeepTeam 会在控制台输出测试结果，包括是否成功触发了漏洞、使用的攻击提示（Prompt）以及模型的响应。

• 本地报告：测试结果通常会自动保存为本地文件（如 JSON 或 HTML 报告，具体取决于配置）。
• 云端管理（可选）：如果您注册了 Confident AI，可以配置 API Key 将测试结果同步到云端仪表盘，以便团队协作和长期监控。

通过以上步骤，您即可快速启动针对 LLM 应用的安全评估。更多高级用法（如自定义漏洞、多轮对话攻击、RAG 测试等）请参考官方文档。