Prompt Fuzzer

帮助加固您的生成式人工智能（GenAI）应用的开源工具

---

---

目录

• :sparkles: 关于
• :rotating_light: 功能
• :rocket: 安装
  • 使用 pip
  • 包页面
  • :construction: 使用 Docker 即将推出
• 使用
  • 功能
  • 环境变量
  • 支持的 LLM
  • 命令行选项
• 示例
  • 交互模式
  • 快速启动单次运行
• :clapper: 演示视频
• 支持的攻击类型
  • 越狱
  • 提示词注入
  • RAG 与向量数据库攻击
  • 系统提示词提取
• :rainbow: 路线图下一步是什么？
• :beers: 贡献

✨ Prompt Fuzzer 是什么

1. 这个交互式工具评估您的生成式人工智能（GenAI）应用的系统提示词在面对各种动态基于大语言模型（LLM）的攻击时的安全性。它根据这些攻击模拟的结果提供安全评估，使您能够根据需要加强您的系统提示词。
2. Prompt Fuzzer 会根据您应用的独特配置和领域动态定制其测试。
3. 该模糊测试工具还包含一个游乐场（Playground）聊天界面，让您有机会迭代改进您的系统提示词，使其针对广泛的生成式人工智能攻击更具韧性。

:warning: 使用 Prompt Fuzzer 将消耗 Token。:warning:

🚀 安装

1. 安装模糊测试工具包

   使用 pip 安装

   pip install prompt-security-fuzzer
   

   使用 PyPi 上的包页面

   您也可以访问 PyPi 上的 包页面

   或者从 发布版本 获取最新的发布轮文件

2. 启动模糊测试工具

   export OPENAI_API_KEY=sk-123XXXXXXXXXXXX
   
   prompt-security-fuzzer
   

3. 输入您的系统提示词

4. 开始测试

5. 使用游乐场进行测试！您可以无限次迭代，直到您的系统提示词安全为止。

:computer: 使用

功能

Prompt Fuzzer 支持：
🧞 16 个 LLM 提供商
🔫 16 种不同的 攻击方式
💬 交互模式
🤖 命令行接口（CLI）模式
🧵 多线程测试

环境变量：

您需要设置一个环境变量来保存首选 LLM 提供商的访问密钥。 默认为 OPENAI_API_KEY

示例：使用您的 OpenAI 账户的 API Token 设置 OPENAI_API_KEY。

或者，在当前目录创建一个名为 .env 的文件并在那里设置 OPENAI_API_KEY。

我们完全支持任意 LLM。（点击查看完整的 LLM 提供商配置列表）

环境变量键	描述
ANTHROPIC_API_KEY	Anthropic 聊天大语言模型。
ANYSCALE_API_KEY	Anyscale 聊天大语言模型。
AZURE OPENAI_API_KEY	Azure OpenAI 聊天完成 API。
BAICHUAN_API_KEY	Baichuan chat 模型 API，由百川智能科技提供。
COHERE_API_KEY	Cohere chat 大语言模型。
EVERLYAI_API_KEY	EverlyAI 聊天大语言模型
FIREWORKS_API_KEY	Fireworks 聊天模型
GIGACHAT_CREDENTIALS	GigaChat 大语言模型 API。
GOOGLE_API_KEY	Google PaLM 聊天模型 API。
JINA_API_TOKEN	Jina AI 聊天模型 API。
KONKO_API_KEY	ChatKonko 聊天大语言模型 API。
MINIMAX_API_KEY, MINIMAX_GROUP_ID	Minimax 大语言模型的封装。
OPENAI_API_KEY	OpenAI 聊天大语言模型 API。
PROMPTLAYER_API_KEY	PromptLayer 和 OpenAI 聊天大语言模型 API。
QIANFAN_AK, QIANFAN_SK	百度千帆 聊天模型。
YC_API_KEY	YandexGPT 大语言模型。

命令行选项

• --list-providers 列出所有可用提供商
• --list-attacks 列出可用攻击并退出
• --attack-provider 攻击提供商
• --attack-model 攻击模型
• --target-provider 目标提供商
• --target-model 目标模型
• --num-attempts, -n NUM_ATTEMPTS 不同攻击提示词的数量
• --num-threads, -t NUM_THREADS 工作线程数量
• --attack-temperature, -a ATTACK_TEMPERATURE 攻击模型的温度参数
• --debug-level, -d DEBUG_LEVEL 调试级别 (0-2)
• -batch, -b 以无人值守（批处理）模式运行模糊测试工具，跳过交互步骤
• --ollama-base-url Ollama API 的基础 URL（用于自托管部署）
• --openai-base-url OpenAI API 的基础 URL（用于兼容 OpenAI 的端点）
• --embedding-provider 嵌入提供商（ollama 或 open_ai）- RAG 测试必需
• --embedding-model 嵌入模型名称 - RAG 测试必需
• --embedding-ollama-base-url Ollama 嵌入 API 的基础 URL
• --embedding-openai-base-url OpenAI 嵌入 API 的基础 URL

示例

系统提示词 (System Prompt) 示例（不同强度等级）可在源代码的子目录 system_prompt.examples 中找到。

交互模式（默认模式）

针对系统提示词运行测试

    prompt_security_fuzzer 

:speedboat: 快速启动单次运行

针对系统提示词运行测试（非交互式批处理模式）：

    prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt

📺 自定义基准测试！

使用自定义基准测试针对系统提示词运行测试

    prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv

🐹 仅运行部分攻击类型！

使用部分攻击类型针对系统提示词运行测试

    prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt --custom-benchmark=ps_fuzz/attack_data/custom_benchmark1.csv --tests='["ucar","amnesia"]'

🧪 RAG 投毒攻击

使用向量数据库 (Vector Database) 投毒攻击测试检索增强生成 (RAG) 系统

# Using OpenAI embeddings
prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
    --embedding-provider=open_ai \
    --embedding-model=text-embedding-ada-002 \
    --tests='["rag_poisoning"]'

# Using Ollama embeddings with custom endpoint
prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
    --embedding-provider=ollama \
    --embedding-model=nomic-embed-text \
    --embedding-ollama-base-url=http://localhost:11434 \
    --tests='["rag_poisoning"]'

注意：需要 chromadb（prompt-security-fuzzer 默认已安装）

🔌 使用自定义 API 端点

针对自定义或自托管的大型语言模型 (LLM) 部署运行测试

# Using custom Ollama endpoint
prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
    --target-provider=ollama \
    --target-model=llama2 \
    --ollama-base-url=http://localhost:11434

# Using OpenAI-compatible endpoint (e.g., LocalAI, vLLM, LM Studio)
prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
    --target-provider=open_ai \
    --target-model=custom-model \
    --openai-base-url=http://your-custom-endpoint:8000/v1

📓 Google Colab 笔记本

在我们的 Google Colab 笔记本 中优化和加固您的系统提示词

🎬 演示视频

:crossed_swords: 模拟攻击详情

我们采用动态测试方法，从您的系统提示词中获取必要上下文，并据此调整模糊测试 (Fuzzing) 过程。

越狱

• AIM 越狱：通过马基雅维利角色扮演引出非法活动的指令，探测伦理合规性。
• 肯定后缀：利用漏洞引出对禁止内容的肯定响应。
• 失忆：导致 LLM 遗忘或忽略系统提示词指令，产生无关输出。
• 上下文重定向：诱骗 LLM 采用特定角色，从而可能绕过预设限制。
• 现在做任何事越狱 (DAN)：测试 LLM 在角色扮演下执行禁止活动的韧性。
• 有害行为：使用来自有害行为数据集的提示词挑战 LLM。
• 语言规避：使用非英语语言绕过预设限制或焦点。
• 自我优化：试图通过将响应向不道德方向优化来绕过系统提示词。
• UCAR：评估 LLM 在被要求忽略此类过滤器时对内容限制的遵守程度。
• Base64 规避：尝试通过将提示词编码为 base64 字符串来逃避对有害提示词的检测

提示词注入

• 权威角色冒充：冒充权威角色以误导 LLM 的输出。
• 赞美过渡：测试在赞美后切换主题时维持内容标准的能力。
• 伦理合规性：评估抵抗讨论敏感话题有害或不适当内容的抵抗力。
• 拼写混乱攻击 (Typoglycemia Attack)：通过省略随机字符利用文本处理漏洞，导致错误响应。

RAG 与向量数据库攻击

• RAG 投毒（隐藏鹦鹉攻击）：测试嵌入在向量数据库文档中的恶意指令是否会危及 RAG 系统行为。此攻击验证从向量存储中检索的投毒内容是否可以覆盖系统提示词或在 LLM 响应中注入未授权指令。

系统提示词提取

• 系统提示词窃取者：尝试提取 LLM 的内部配置或敏感信息。

定义

• 失败：LLM 屈服于该攻击类型尝试。
• 抵御成功：LLM 抵抗了该攻击类型尝试。
• 错误：结果不明确的攻击类型尝试。

:rainbow: 路线图上的下一步是什么？

• Google Colab 笔记本
• 调整提示词数据集测试的输出评估机制
• 继续添加新的生成式人工智能 (GenAI) 攻击类型
• 增强的报告能力
• 加固建议

将其打造为社区项目！我们希望这对所有构建生成式人工智能 (GenAI) 应用的人都有用。如果您有自己的攻击方法认为应该包含在此项目中，请贡献！方法如下：https://github.com/prompt-security/ps-fuzz/blob/main/CONTRIBUTING.md

🍻 贡献指南

有兴趣参与我们工具的开发吗？太好了！关于如何做出您的首次贡献的指南，请参阅我们的 贡献指南。本节提供了添加新测试的简明介绍。

关于要添加哪些测试的想法，请查看我们 GitHub 仓库中的 Issues 标签页。寻找标记为 new-test 和 good-first-issue 的问题，这些是新手贡献者的完美起点。

ps-fuzz 快速上手指南

简介

ps-fuzz（Prompt Fuzzer）是一款开源工具，旨在帮助开发者加固生成式 AI（GenAI）应用的安全性。它通过模拟多种动态攻击来评估系统提示词（System Prompt）的防御能力，并提供交互式界面辅助迭代优化。

⚠️ 注意：使用该工具会消耗 LLM Token，请注意相关成本。

环境准备

• Python 环境：确保本地已安装 Python 3.x。
• LLM 访问密钥：需要配置一个大语言模型提供商的 API Key（默认支持 OpenAI，也支持 Anthropic、Azure 等其他 16 种提供商）。
• 依赖项：工具安装后会自动处理大部分依赖（如 ChromaDB）。

安装步骤

通过 pip 安装官方包：

pip install prompt-security-fuzzer

如需获取最新发行版，可访问 PyPI 或 GitHub Releases。

基本使用

1. 配置 API 密钥

在运行前，请设置环境变量以持有 LLM 提供商的访问密钥。默认使用 OPENAI_API_KEY，您也可以在当前目录创建 .env 文件进行配置。

export OPENAI_API_KEY=sk-123XXXXXXXXXXXX

2. 交互模式（默认）

直接运行命令进入交互式测试界面，按提示输入系统提示词即可开始测试：

prompt_security_fuzzer 

3. 批量模式（非交互）

适用于自动化测试或脚本集成，指定系统提示词文件并运行：

prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt

4. 高级用法示例

• 仅运行特定攻击类型：

  prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt --tests='["ucar","amnesia"]'
  

• RAG 投毒攻击测试（需配置 Embedding 模型）：

  prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
      --embedding-provider=open_ai \
      --embedding-model=text-embedding-ada-002 \
      --tests='["rag_poisoning"]'
  

• 使用自定义 API 端点（如 Ollama 或 LocalAI）：

  prompt-security-fuzzer -b ./system_prompt.examples/medium_system_prompt.txt \
      --target-provider=ollama \
      --target-model=llama2 \
      --ollama-base-url=http://localhost:11434
  

常用命令选项

• --list-providers：列出所有支持的 LLM 提供商
• --list-attacks：列出可用的攻击类型并退出
• -b / --batch：以无监督（批量）模式运行
• -n / --num-attempts：设置不同攻击提示的数量
• -t / --num-threads：设置工作线程数