Rogue — AI 代理评估与红队平台

---

加固您的代理的两种方式

🎯 自动化评估 针对 业务策略 和预期行为测试您的代理。 定义场景及预期结果 验证是否符合业务规则 观看 Rogue 探测您的代理时的实时对话 获取包含推理过程的详细通过/未通过报告 最适合： 回归测试、行为验证、政策合规性检查

🔴 红队演练 模拟 对抗性攻击 以发现安全漏洞。 涵盖 12 个安全类别的 75+ 种漏洞 20 种攻击技术（编码、社会工程、注入等） 基于 CVSS 的风险评分 8 个合规框架（OWASP、MITRE、NIST、GDPR、欧盟《人工智能法案》） 最适合： 安全审计、渗透测试、合规报告

---

架构

Rogue 采用 客户端-服务器架构，配备多种接口：

组件	描述
服务器	核心评估与红队逻辑
TUI	现代终端界面（Go + Bubble Tea）
CLI	用于 CI/CD 流水线的非交互模式

https://github.com/user-attachments/assets/b5c04772-6916-4aab-825b-6a7476d77787

支持的协议

协议	传输方式	描述
A2A	HTTP	Google 的 Agent-to-Agent 协议
MCP	SSE, STREAMABLE_HTTP	模型上下文协议 通过 send_message 工具
Python	—	直接调用 Python 函数（无需网络协议）

参考 examples/ 中的示例实现。

Python 入口点

对于未使用 A2A 或 MCP 而是作为 Python 函数实现的代理：

1. 创建一个包含 call_agent 函数的 Python 文件：

def call_agent(messages: list[dict]) -> str:
    """
    处理对话并返回响应。

    Args:
        messages: 包含 {"role": "user"|"assistant", "content": "..."} 的列表

    Returns:
        代理的响应字符串
    """
    # 您的代理逻辑在此处
    latest = messages[-1]["content"]
    return f"Response to: {latest}"

2. 使用 Python 协议运行 Rogue：

uvx rogue-ai cli \
  --protocol python \
  --python-entrypoint-file ./my_agent.py \
  --judge-llm openai/gpt-4o-mini

或者通过 TUI：选择“Python”作为协议，并输入文件路径。

完整示例请参阅 examples/python_entrypoint_stub.py。

---

🔥 快速入门

先决条件

• uvx — 安装 uv
• Python 3.10+
• LLM API 密钥（OpenAI、Anthropic 或 Google）

安装

# TUI（推荐）
uvx rogue-ai

# CLI / CI/CD
uvx rogue-ai cli

使用示例代理试用

# 一体化：同时启动 Rogue 和一个示例 T 恤店代理
uvx rogue-ai --example=tshirt_store

在 UI 中配置：

• 代理 URL：http://localhost:10001
• 模式：选择“自动化评估”或“红队演练”

---

运行模式

模式	命令	描述
默认	uvx rogue-ai	服务器 + TUI
服务器	uvx rogue-ai server	仅后端
TUI	uvx rogue-ai tui	终端客户端
CLI	uvx rogue-ai cli	非交互式（CI/CD）

服务器选项

uvx rogue-ai server --host 0.0.0.0 --port 8000 --debug

CLI 选项

uvx rogue-ai cli \
  --evaluated-agent-url http://localhost:10001 \
  --judge-llm openai/gpt-4o-mini \
  --business-context-file ./.rogue/business_context.md

选项	描述
--config-file	配置 JSON 文件路径
--evaluated-agent-url	代理端点（必填）
--judge-llm	用于评估的 LLM（必填）
--business-context	上下文字符串或 --business-context-file
--input-scenarios-file	场景 JSON
--output-report-file	报告输出路径
--deep-test-mode	扩展测试

---

红队演练

扫描类型

类型	漏洞数	攻击数量	时间
基础	5 条精选	6 种	~2-3 分钟
全面	75+	40+	~30-45 分钟
自定义	用户选择	用户选择	不固定

合规框架

• OWASP LLM Top 10 — 提示注入、敏感数据泄露、过度授权
• MITRE ATLAS — 针对 AI 系统的对抗威胁态势
• NIST AI RMF — AI 风险管理框架
• ISO/IEC 42001 — AI 管理体系标准
• 欧盟《人工智能法案》 — 欧盟 AI 法规合规
• GDPR — 数据保护要求
• OWASP API Top 10 — API 安全最佳实践

攻击类别

类别	示例
编码	Base64、ROT13、Leetspeak
社会工程	角色扮演、建立信任
注入	提示注入、SQL 注入
语义	目标误导、情境毒化
技术	灰盒探测、权限提升

风险评分（基于 CVSS）

每个漏洞都会根据以下因素获得一个 0-10 的风险分值：

• 影响 — 漏洞被利用后的严重程度
• 可利用性 — 成功利用的可能性
• 人为因素 — 是否需要人工操作才能完成攻击
• 复杂度 — 攻击的难度

可复现的扫描

# 使用随机种子以获得可复现的结果
uvx rogue-ai cli --random-seed 42

非常适合回归测试和验证安全修复。

---

配置

环境变量

OPENAI_API_KEY="sk-..."
ANTHROPIC_API_KEY="sk-..."
GOOGLE_API_KEY="..."

配置文件（.rogue/user_config.json）

{
  "evaluated_agent_url": "http://localhost:10001",
  "judge_llm": "openai/gpt-4o-mini"
}

---

核心功能

功能	描述
🔄 动态场景	根据业务上下文自动生成测试用例
👀 实时监控	实时查看代理之间的对话
📊 全面报告	支持 Markdown、CSV 和 JSON 导出
🔍 多维度测试	政策合规性 + 安全漏洞检测
🤖 模型支持	OpenAI、Anthropic、Google（通过 LiteLLM）
🛡️ CVSS 评分	行业标准的风险评估
🔁 可复现	通过随机种子实现确定性扫描

---

文档

• 快速参考 — 一页纸的速查表
• 红队工作流 — 技术深度解析
• 实施状态 — 功能细分
• 攻击与漏洞映射 — 漏洞覆盖情况

---

贡献

1. 分支仓库
2. 创建分支（git checkout -b feature/amazing-feature）
3. 提交更改（git commit -m '添加超赞功能'）
4. 推送（git push origin feature/amazing-feature）
5. 打开拉取请求

---

许可证

采用专有许可证授权 — 详见 LICENSE。

个人及内部使用免费。商业托管需获得许可。 联系方式：hello@rogue.security

Rogue AI 智能体评估与红队平台快速上手指南

Rogue 是一款专为 AI 智能体设计的评估与红队测试平台，帮助开发者在攻击者之前发现业务逻辑漏洞与安全弱点。它支持自动化策略合规性测试和模拟对抗性攻击（红队演练）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL2 推荐)
• Python 版本：Python 3.10 或更高版本
• 包管理工具：需安装 uv (Rogue 推荐使用 uvx 运行)
  • 安装命令：curl -LsSf https://astral.sh/uv/install.sh | sh
  • 国内加速提示：如果下载缓慢，可尝试配置国内镜像源或使用代理。
• LLM API 密钥：需要准备至少一个主流大模型服务的 API Key（OpenAI, Anthropic 或 Google），用于作为“裁判模型”评估测试结果。
  • 设置环境变量示例：

    export OPENAI_API_KEY="sk-..."
    # 或
    export ANTHROPIC_API_KEY="sk-..."
    

安装步骤

Rogue 无需复杂的环境配置，推荐使用 uvx 直接运行最新版本的工具。

1. 启动交互式终端界面 (TUI) - 推荐

适合本地开发和手动测试，提供现代化的终端交互体验。

uvx rogue-ai

2. 命令行模式 (CLI)

适合集成到 CI/CD 流水线或非交互式脚本中。

uvx rogue-ai cli

注意：首次运行时，uvx 会自动下载并缓存必要的依赖包。

基本使用

Rogue 提供了两种核心测试模式：自动评估（验证业务规则）和 红队测试（模拟黑客攻击）。以下是两种最快捷的启动方式。

方式一：一键体验示例项目

Rogue 内置了一个示例智能体（T-shirt 商店），可用于快速熟悉流程。该命令会同时启动 Rogue 服务和示例智能体。

uvx rogue-ai --example=tshirt_store

操作步骤：

1. 运行上述命令后，终端将进入 TUI 界面。
2. 在界面中配置 Agent URL 为：http://localhost:10001
3. 选择测试模式：
   • Automatic Evaluation：定义场景，验证智能体是否符合预期行为。
   • Red Teaming：选择扫描类型（Basic/Full），模拟编码混淆、社会工程学等攻击。
4. 点击开始，实时观察对话过程并查看生成的风险报告。

方式二：测试自定义 Python 智能体

如果您的智能体是本地 Python 函数（未部署为 HTTP 服务），可以通过定义入口文件直接测试。

1. 创建智能体文件 (my_agent.py)： 确保文件中包含一个名为 call_agent 的函数。

   def call_agent(messages: list[dict]) -> str:
       """
       处理对话消息并返回响应。
       
       Args:
           messages: 列表格式 [{"role": "user"|"assistant", "content": "..."}]
       
       Returns:
           智能体的回复字符串
       """
       # 在此处编写您的智能体逻辑
       latest = messages[-1]["content"]
       return f"Response to: {latest}"
   

2. 运行测试命令： 指定协议为 python 并指向入口文件。

   uvx rogue-ai cli \
     --protocol python \
     --python-entrypoint-file ./my_agent.py \
     --judge-llm openai/gpt-4o-mini
   

   • --judge-llm: 指定用于评估结果的模型（如 openai/gpt-4o-mini）。
   • 运行后，Rogue 将自动加载您的函数并进行压力测试或红队扫描。

查看结果

测试完成后，Rogue 会生成详细的报告，包含：

• 通过率/失败率分析
• CVSS 风险评分（针对安全漏洞）
• 推理依据（为什么判定为失败或存在风险）
• 支持导出为 Markdown, CSV 或 JSON 格式。