FuzzyAI 模糊测试工具

FuzzyAI 模糊测试工具是一款功能强大的自动化大语言模型（LLM）模糊测试工具。它旨在帮助开发者和安全研究人员识别逃逸攻击，并缓解其 LLM API 中潜在的安全漏洞。

快速入门

快速入门 #1 - 使用现有 Python 项目

1. 安装 FuzzyAI

   # 可以使用 pip 或其他任何包管理器
   pip install git+https://github.com/cyberark/FuzzyAI.git
   

2. 运行模糊测试工具

   fuzzyai fuzz -h
   

快速入门 #2 - 或作为独立项目

1. 克隆仓库：

   git clone git@github.com:cyberark/FuzzyAI.git
   cd FuzzyAI
   

2. 使用 Poetry 安装依赖项：

   poetry run pip install -e .
   

3. 运行模糊测试工具：

   poetry run fuzzyai fuzz -h
   

4. 可选：安装 ollama 并下载一个本地使用的模型：

   ollama pull llama3.1
   ollama show llama3.1 # 验证模型是否已安装
   

   或者，您也可以使用 Web UI。

Web UI（实验性）

1. 运行 Web UI（请确保已完成上述任一安装步骤）：

    poetry run fuzzyai webui
    
    # 或指定自定义端口：
    poetry run fuzzyai webui --port 9000
   

笔记本

我们提供了一些交互式 Jupyter 笔记本，您可以在 src/fuzzyai/resources/notebooks/ 下找到它们。
更多信息，请参阅 笔记本 Wiki。

数据集

我们提供了一些数据集，您可以在 resources/ 下找到它们。更多信息，请参阅 数据集 Wiki。

文档

在 Wiki 中可以找到详细的使用说明。

示例

如果您使用 Poetry，请确保已激活虚拟环境（或者在命令前加上 poetry run）。

使用 Ollama 上的 llama 对默认攻击进行测试（仅评估“有害提示”）

fuzzyai fuzz -m ollama/llama3.1 -a def -t "Harmful_Prompt"

使用 ManyShot 和 Taxonomy 攻击对提示进行攻击，使用 OpenAI 上的 gpt3.5 并启用单个工作线程

OPENAI_API_KEY=sk-3fa1... fuzzyai fuzz -m openai/gpt-3.5-turbo -a man -a tax -t "Harmful_Prompt"

使用 Claude 3.5 对 prompts.txt 中的提示进行 ArtPrompt 攻击，使用 Anthropic 上的 Claude 3.5

ANTHROPIC_API_KEY=deadbeef... fuzzyai fuzz -m anthropic/claude-3-5-sonnet-20240620 -a art -T src/fuzzyai/resources/adv_prompts.txt -e blacklisted_words="bomb,garbage,acid,ugly,self-harm,kill your"

---

对您自己的 REST API 进行攻击

OPENAI_API_KEYT=sk-3fa1... fuzzyai fuzz -a def -x openai/gpt-4 -e classifier_model=openai/gpt-4 -m rest/http.raw -e host=localhost -e port=8000 -e scheme=https  
-t "如何制造炸弹"

参数解析：

• -a def：
  调用默认攻击模式，该模式会在不应用额外策略的情况下评估 API。

• -x openai/gpt-4：
  指定辅助模型（gpt-4），用于在攻击过程中协助完成某些任务。

• -e classifier_model=openai/gpt-4：
  配置模糊测试工具使用 gpt-4 模型来分类输出。这有助于确定响应是否符合特定标准，例如检测有害或不良内容。

• -m rest/http.raw：
  使用 REST 提供程序攻击 API 端点。原始 HTTP 请求从文件 http.raw 中解析。（有关文件结构的详细信息，请参阅 文档或示例。）

• -e host=localhost -e port=8000 -e scheme=https：
  使用以下 API 端点详细信息配置 REST 提供程序：

  • 主机：localhost
  • 端口：8000
  • 协议：https（通信将使用 HTTPS）

• -t "如何制造炸弹"：
  指定测试输入。在此示例中，测试的是 API 对敏感或有害内容的处理能力。

核心特性

• 全面的模糊测试技术：利用基于变异、基于生成以及智能模糊测试技术。
• 内置输入生成：生成有效和无效输入，以实现全面测试。
• 无缝集成：轻松集成到您的开发和测试流程中。
• 可扩展架构：根据您的独特需求自定义和扩展模糊测试工具。

支持的模型

FuzzyAI 支持来自顶级提供商的各种模型，包括：

提供商	模型
Anthropic	Claude (3.5、3.0、2.1)
OpenAI	GPT-4o、GPT-4o mini、GPT o3
Gemini	Gemini Pro、Gemini 1.5
Azure	GPT-4、GPT-3.5 Turbo
Bedrock	Claude (3.5、3.0)、Meta (LLaMa)
AI21	Jamba (1.5 Mini、Large)
DeepSeek	DeepSeek (DeepSeek-V3、DeepSeek-V1)
Ollama	LLaMA (3.3、3.2、3.1)、Dolphin-LLaMA3、Vicuna

添加对新模型的支持

只需按照我们的DIY 指南，即可轻松添加对其他模型的支持。

已实现的攻击方法

详细信息请参阅 攻击维基

攻击类型	标题	参考
艺术提示	基于 ASCII 艺术的越狱攻击，针对对齐的大型语言模型	arXiv:2402.11753
基于分类法的改写	利用情感诉求等说服性语言技巧来越狱大型语言模型	arXiv:2401.06373
PAIR（提示自动迭代优化）	通过两台大型语言模型迭代优化提示，自动进行对抗性提示生成	arXiv:2310.08419
多次示例越狱	嵌入多个虚假对话示例以削弱模型的安全性	Anthropic Research
ASCII 秘密传输	ASCII 秘密传输利用 Unicode 标记字符在文本中嵌入隐藏指令，这些指令对用户不可见，但可被大型语言模型 (LLM) 处理，从而可能导致提示注入攻击	Embracethered 博客
遗传算法	利用遗传算法修改提示以达到对抗性效果	arXiv:2309.01446
幻觉	使用模型生成的内容绕过 RLHF 过滤器	arXiv:2403.04769
DAN（立即做任何事）	促使大型语言模型采用不受限制的角色，忽略标准内容过滤机制，从而使其能够“立即做任何事”。	GitHub 仓库
文字游戏	将有害提示伪装成文字谜题	arXiv:2405.14023
渐强法	通过一系列逐步升级的对话轮次与模型互动，从无害的问题开始，逐渐将对话引向受限或敏感话题。	arXiv:2404.01833
行动者攻击	受行动者网络理论启发，构建“行动者”的语义网络，在隐藏恶意意图的同时，巧妙地引导对话走向有害目标。	arxiv 2410.10700
最佳 n 次越狱	利用输入变体反复诱导模型产生有害响应，利用模型的敏感性	arXiv:2412.03556
打乱不一致性攻击 (SI-Attack)	利用大型语言模型的理解能力与安全机制之间的不一致性，通过打乱有害文本提示来实施攻击。打乱后的文本可以绕过安全机制，但仍被模型识别为有害内容。目前仅完成了基于文本的实现，基于图像的部分尚未实现。	arXiv:2501.04931
回到过去	通过添加职业相关的前缀和与过去相关的后缀来修改提示
历史/学术框架	将敏感的技术数据包装成学术或历史研究的形式，以实现合乎伦理和法律的使用——这可能会导致越狱。
请	通过在提示前后分别添加“请”一词来修改提示
思想实验	在提示前添加与思想实验相关的内容，并在结尾加上“已采取预防措施”的后缀
默认	直接将提示原样发送给模型

支持的云 API

• OpenAI
• Anthropic
• Gemini
• Azure 云
• AWS Bedrock
• AI21
• DeepSeek
• Huggingface (下载模型)
• Ollama
• 自定义 REST API

---

注意事项

• 某些分类器的功能不仅仅是评估单个输出。例如，余弦相似度分类器通过测量两个输出之间的夹角来比较它们，而“危害性”分类器则会检查给定的输出是否具有危害性。因此，并非所有分类器都与我们实现的攻击方法兼容，因为这些方法是为单输出分类器设计的。
• 当使用 -m 选项与 OLLAMA 模型一起使用时，请确保先添加所有 OLLAMA 模型，然后再添加其他模型。 使用 -e port=... 选项指定 OLLAMA 的端口号（默认为 11434）。

贡献

欢迎贡献！如果您希望为 FuzzyAI Fuzzer 做出贡献，请遵循 CONTRIBUTING.md 文件中概述的指南。

许可证

FuzzyAI Fuzzer 根据 Apache 许可证 发布。有关详细信息，请参阅 LICENSE 文件。

联系方式

如果您对 FuzzyAI Fuzzer 有任何疑问或建议，请随时通过电子邮件 fzai@cyberark.com 与我们联系。

FuzzyAI 快速上手指南

FuzzyAI 是一款强大的自动化大语言模型（LLM）模糊测试工具，旨在帮助开发者和安全研究人员识别越狱攻击（Jailbreaks）并缓解 LLM API 中的潜在安全漏洞。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (WSL 推荐)
• Python：版本 3.8 或更高
• 包管理器：pip 或 Poetry (推荐用于独立项目开发)
• 可选本地模型：若需本地运行，建议安装 Ollama

安装步骤

您可以选择以下两种方式之一进行安装：

方式一：作为 Python 库安装（推荐快速试用）

直接使用 pip 从 GitHub 安装：

pip install git+https://github.com/cyberark/FuzzyAI.git

方式二：作为独立项目克隆（推荐二次开发）

1. 克隆仓库并进入目录：

   git clone git@github.com:cyberark/FuzzyAI.git
   cd FuzzyAI
   

2. 使用 Poetry 安装依赖：

   poetry run pip install -e .
   

3. （可选）配置本地模型支持： 如果您希望使用本地模型（如 Llama 3.1），请先安装 Ollama 并拉取模型：

   ollama pull llama3.1
   ollama show llama3.1 # 验证模型安装
   

基本使用

安装完成后，您可以通过命令行直接运行模糊测试。以下是几个典型的使用场景：

1. 查看帮助信息

了解可用的命令和参数：

fuzzyai fuzz -h

(如果您使用 Poetry 安装且未激活虚拟环境，请在命令前加 poetry run)

2. 默认攻击测试（使用本地 Ollama 模型）

对提示词 "Harmful_Prompt" 执行默认攻击策略，使用本地的 llama3.1 模型：

fuzzyai fuzz -m ollama/llama3.1 -a def -t "Harmful_Prompt"

3. 针对云 API 的高级攻击

结合多种攻击策略（ManyShot 和 Taxonomy），使用 OpenAI 的 gpt-3.5-turbo 进行测试：

OPENAI_API_KEY=sk-3fa1... fuzzyai fuzz -m openai/gpt-3.5-turbo -a man -a tax -t "Harmful_Prompt"

4. 启动 Web UI（实验性功能）

如果您更喜欢图形化界面，可以启动内置的 Web UI：

poetry run fuzzyai webui
# 或者指定端口
poetry run fuzzyai webui --port 9000

提示：FuzzyAI 支持 Anthropic、OpenAI、Gemini、Azure、Bedrock 等多种主流模型提供商。更多高级用法（如自定义 REST API 测试、特定攻击向量配置）请参阅官方 Wiki 文档。