GPTFUZZER : 利用自动生成的越狱提示对大语言模型进行红队攻击

这是由Jiahao Yu、Xingwei Lin、Zheng Yu、Xinyu Xing撰写的"GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts"的官方仓库。

目录

• 更新
• 安装
• 数据集
• 模型
• 运行
• 发布
• 常见问题解答

更新

• (2024/8/13) 本文已被Usenix Security录用。请查看会议论文
• (2023/10/25) 🏆 🏆 我们在Geekcon 2023上荣获前沿突破奖和最佳演讲奖！
• (2023/10/22) 我们的工作将在Geekcon 2023会议上发表！我们将介绍我们的工作并演示工具的实时攻击演示。我们还将包含未在论文中包含的中文LLM攻击结果。我们期待在那里与您见面！
• (2023/10/21) 我们已更新代码库使其更易读和使用。我们将继续更新代码库并添加更多功能和其他实现。我们期待构建一个通用的黑盒模糊测试框架用于大语言模型。敬请期待！
• (2023/9/19) 我们的论文已发布在arXiv！请查看此处！

安装

请参考install.ipynb

数据集

有害问题和人工编写模板的数据集位于datasets/questions/question_list.csv和datasets/prompts/GPTFuzzer.csv。问题来自两个公开数据集：llm-jailbreak-study和hh-rlhf，模板则收集自llm-jailbreak-study。

对于通过查询Vicuna-7B、ChatGPT和Llama-2-7B-chat获得的响应，我们存储在datasets/responses中，标注响应存储在datasets/responses_labeled。您也可以使用generate_responses.py为不同模型或不同问题生成响应（请参见scripts文件夹中的脚本示例）。

我们仍在对其他问题数据集和越狱数据集进行评估。我们将在取得一些结果后更新代码库和数据集。

模型

我们的判断模型是一个微调后的RoBERTa-large模型，训练代码位于./example/finetune_roberta.py，训练/评估数据存储在datasets/responses_labeled。我们使用的模型托管在Hugging Face。在运行模糊测试实验时，模型会首次自动下载并缓存。如果您希望手动下载模型，可以运行以下代码：

from transformers import RobertaForSequenceClassification, RobertaTokenizer
model_path = 'hubert233/GPTFuzz'
model = RobertaForSequenceClassification.from_pretrained(model_path)
tokenizer = RobertaTokenizer.from_pretrained(model_path)

在我们的实验中发现，训练好的模型也可以迁移到其他问题上。然而，我们也发现它在某些问题和其他语言上表现不佳。我们很快会添加更多预测器模型。

运行

我们提供了一个Python 示例来展示运行模糊测试实验的最小代码。此示例使用ChatGPT作为变异模型攻击Llama-2-7B-chat，使用官方系统提示（由于Fastchat最近更新删除了官方系统提示，我们进行了猴子补丁）。您应该能够获得与示例文件夹中相同的结果（我们设置了随机种子以确保可重复性，温度=0）。

您还可以参考笔记本了解更多信息和解释。

发布

由于伦理考虑，我们决定不公开发布我们在实验中发现的对抗性模板。然而，我们很高兴与对这个主题感兴趣的研究人员分享它们。如果您想获取实验中发现的模板，请通过电子邮件联系我们。您也可以使用此仓库中的代码生成自己的对抗性模板。

常见问题解答

1. 我发现您标注的响应中有一些标签错误。
   • 对不起，我们对此表示歉意。正如我们的论文所声明的，判断是否为越狱响应并非易事，一些响应难以标注。此外，由于大量潜在有毒响应的标注压力，我们可能犯了一些错误。如果您发现任何错误的标签，请告知我们，我们会尽快修复。
2. 模糊测试速度很慢，尤其是当我使用多个问题对本地模型进行测试时。
   • 我们发现使用批量推理可以显著加快模糊测试过程。然而，由于填充标记（请参见此处），结果可能会与原始结果略有不同。我们建议使用vllm进行超高效推理
3. 如何实现自己的变异器/种子选择器？
   • 您可以通过继承类来实现自己的变异器/种子选择器。您可以参考mutator.py和selection.py中的示例。 此外，正如我们所声明的，我们希望开发一个通用的黑盒模糊测试框架用于大语言模型。如果您有任何想法或建议，或者发现其他相关论文，请告诉我们或在问题中留言。我们很高兴实现它们，使这个框架更强大。

引用

如果在您的研究中发现此工具有用，请考虑引用：

@inproceedings{yu2024llm,
  title={$\{$LLM-Fuzzer$\}$: 大语言模型越狱评估的扩展},
  author={Yu, Jiahao and Lin, Xingwei and Yu, Zheng and Xing, Xinyu},
  booktitle={第33届USENIX安全研讨会（USENIX Security 24）},
  pages={4657--4674},
  year={2024}
}

@article{yu2023gptfuzzer,
  title={Gptfuzzer: 利用自动生成的越狱提示对大语言模型进行红队攻击},
  author={Yu, Jiahao and Lin, Xingwei and Yu, Zheng and Xing, Xinyu},
  journal={arXiv预印本 arXiv:2309.10253},
  year={2023}
}

GPTFuzz 快速上手指南

环境准备

• 系统要求：Python 3.8+
• 前置依赖：

  pip install -U torch transformers datasets
  # 国内用户建议使用镜像源
  pip install -U torch transformers datasets --index-url https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

1. 克隆仓库：

   git clone https://github.com/sherdencooper/GPTFuzz.git
   cd GPTFuzz
   

2. 安装依赖（参考 install.ipynb）：

   pip install -r requirements.txt
   

基本使用

1. 运行示例脚本（需配置API密钥）：

   python example/gptfuzz.py
   

   • 默认使用ChatGPT作为变异模型攻击Llama-2-7B-chat
   • 支持参数调整：--temperature 0（默认温度值）
   • 需提前配置模型API访问权限

2. 自定义配置：

   • 修改 config.yaml 中的模型参数
   • 可通过 --model 指定目标模型（如: llama-2-7b-chat）