大型語言模型中的野外越獄提示

这是由Xinyue Shen、Zeyuan Chen、Michael Backes、Yun Shen和Yang Zhang共同撰写的ACM CCS 2024论文《“现在就做任何事”：对大型語言模型中野外越狱提示的特征描述与评估》（https://arxiv.org/abs/2308.03825）的官方存储库。

在本项目中，我们利用全新的框架JailbreakHub，首次对野外越狱提示进行了测量研究，共收集了15,140条提示，时间跨度为2022年12月至2023年12月，其中包含1,405条越狱提示。

请访问我们的网站。

免责声明。此仓库包含有害语言示例。建议读者谨慎浏览。本仓库仅用于研究目的。严禁任何滥用行为。

数据

提示

总体而言，我们在2022年12月至2023年12月期间，从四个平台（Reddit、Discord、网站和开源数据集）收集了15,140条提示。在这些提示中，我们识别出1,405条越狱提示。据我们所知，该数据集是目前最大的野外越狱提示集合。

数据可在此处获取。

我们的数据来源统计。（Adv）UA指（对抗性）用户账户。

平台	来源	帖子数量	UA数量	Adv UA数量	提示数量	越狱数量	提示时间范围
Reddit	r/ChatGPT	163549	147	147	176	176	2023.02-2023.11
Reddit	r/ChatGPTPromptGenius	3536	305	21	654	24	2022.12-2023.11
Reddit	r/ChatGPTJailbreak	1602	183	183	225	225	2023.02-2023.11
Discord	ChatGPT	609	259	106	544	214	2023.02-2023.12
Discord	ChatGPT Prompt Engineering	321	96	37	278	67	2022.12-2023.12
Discord	Spreadsheet Warriors	71	3	3	61	61	2022.12-2023.09
Discord	AI Prompt Sharing	25	19	13	24	17	2023.03-2023.04
Discord	LLM Promptwriting	184	64	41	167	78	2023.03-2023.12
Discord	BreakGPT	36	10	10	32	32	2023.04-2023.09
网站	AIPRM	-	2777	23	3930	25	2023.01-2023.06
网站	FlowGPT	-	3505	254	8754	405	2022.12-2023.12
网站	JailbreakChat	-	-	-	79	79	2023.02-2023.05
数据集	AwesomeChatGPTPrompts	-	-	-	166	2	-
数据集	OCR-Prompts	-	-	-	50	0	-
总计		169,933	7,308	803	15,140	1,405	2022.12-2023.12

加载提示

您可以使用Hugging Face的Datasets库轻松加载所有收集到的提示。

from datasets import load_dataset

dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'jailbreak_2023_05_07', split='train')
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'jailbreak_2023_12_25', split='train')
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'regular_2023_05_07', split='train')
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'regular_2023_12_25', split='train')

原始的CSV文件已提供在我们的GitHub仓库jailbreak_llms中。

注意：如果您计划使用此数据集训练模型，建议对prompt字段进行预处理以去除重复项。 更多详情，请参阅Hugging Face数据集讨论。

问题集

为了评估越狱提示的有效性，我们构建了一个包含390个问题的问题集，涵盖了来自OpenAI使用政策的13个禁止场景。

我们在评估中排除了“儿童性虐待”这一场景，专注于其余13个场景，包括“非法活动”、“仇恨言论”、“恶意软件生成”、“人身伤害”、“经济损害”、“欺诈”、“色情内容”、“政治游说”、“隐私侵犯”、“法律意见”、“财务建议”、“健康咨询”以及“政府决策”。

from datasets import load_dataset

forbidden_question_set = load_dataset("TrustAIRLab/forbidden_question_set", split='train')

问题集的原始文件也已在我们的GitHub仓库jailbreak_llms中提供。

代码

评估器 - ChatGLMEval

cd code/ChatGLMEval
<!-- 在run_evaluator.py的df_path_list中添加数据路径 -->
python run_evaluator.py

语义可视化

请查看code/semantics_visualization/visualize.ipynb

伦理

我们承认，在线收集的数据可能包含个人信息。因此，我们采用行业标准的最佳实践，以确保本研究遵循伦理原则，例如不尝试对任何用户进行去匿名化处理，并仅报告汇总结果。由于本研究仅使用公开可用的数据，且未与参与者进行直接互动，我们的机构审查委员会（IRB）并未将其认定为涉及人类受试者的研究。尽管如此，鉴于我们的目标之一是评估大型语言模型在回答有害问题时的风险，不可避免地需要披露模型如何生成仇恨内容。这可能会引发人们对潜在滥用的担忧。然而，我们坚信，提高对此问题的认识更为重要，因为它能够帮助大型语言模型供应商和研究界制定更健全的安全保障措施，从而推动这些模型更加负责任地发布。

我们已以负责任的方式将研究发现告知相关的大语言模型供应商。

引用

如果您在研究中认为本工作有所帮助，请考虑引用：

@inproceedings{SCBSZ24,
      author = {Xinyue Shen and Zeyuan Chen and Michael Backes and Yun Shen and Yang Zhang},
      title = {{``Do Anything Now'': Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models}},
      booktitle = {{ACM SIGSAC Conference on Computer and Communications Security (CCS)}},
      publisher = {ACM},
      year = {2024}
}

许可证

jailbreak_llms 根据 MIT 许可证条款授权。更多详情请参阅 LICENSE 文件。

jailbreak_llms 快速上手指南

jailbreak_llms 是 ACM CCS 2024 论文《"Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models》的官方开源项目。该项目提供了目前规模最大的“野外”越狱提示词数据集（包含 15,140 条提示词，其中 1,405 条为确认为越狱成功的提示词），以及用于评估大模型安全性的工具集。

⚠️ 免责声明：本仓库包含有害语言示例，仅供学术研究使用。严禁将其用于任何非法或不道德的目的。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.8 或更高版本
• 前置依赖：
  • pip (Python 包管理工具)
  • git (用于克隆代码库)
  • datasets 库 (Hugging Face 提供的数据处理库)

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

安装步骤

本项目主要通过 Hugging Face datasets 库加载数据，同时也提供本地代码评估工具。

1. 安装核心依赖

安装 Hugging Face datasets 库以直接加载数据集：

pip install datasets

(可选) 若需运行本地评估代码或查看源码，可克隆仓库：

git clone https://github.com/verazuo/jailbreak_llms.git
cd jailbreak_llms

2. 配置国内加速源（推荐）

为了提高下载速度，建议配置 Hugging Face 国内镜像或使用代理。

方法一：设置环境变量（临时生效）

export HF_ENDPOINT=https://hf-mirror.com

方法二：在 Python 代码中指定

在使用 load_dataset 时，该库通常会自动检测网络环境，若下载缓慢请确保网络通畅或配置上述环境变量。

基本使用

1. 加载越狱提示词数据集

使用以下 Python 代码即可直接从 Hugging Face 加载不同时间切片的数据集（包括越狱提示词和普通提示词）：

from datasets import load_dataset

# 加载 2023-05-07 版本的越狱提示词
dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'jailbreak_2023_05_07', split='train')

# 其他可用版本示例：
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'jailbreak_2023_12_25', split='train')
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'regular_2023_05_07', split='train')
# dataset = load_dataset('TrustAIRLab/in-the-wild-jailbreak-prompts', 'regular_2023_12_25', split='train')

# 查看第一条数据
print(dataset[0])

注意：若计划使用该数据集训练模型，建议对 prompt 字段进行预处理以去除重复项。

2. 加载禁问问题集 (Forbidden Question Set)

项目提供了一个包含 390 个问题的测试集，涵盖 13 类禁止场景（如非法活动、仇恨言论、恶意软件生成等），用于评估越狱提示词的有效性：

from datasets import load_dataset

forbidden_question_set = load_dataset("TrustAIRLab/forbidden_question_set", split='train')

# 查看问题数量
print(len(forbidden_question_set))

3. 运行评估器 (ChatGLMEval)

如果您克隆了代码仓库，可以使用内置的评估器来测试模型表现。

cd code/ChatGLMEval
# 请先编辑 run_evaluator.py，在 df_path_list 中添加您的数据路径
python run_evaluator.py

4. 语义可视化

如需分析提示词的语义分布，可运行提供的 Jupyter Notebook：

# 确保已安装 jupyter 和相关绘图库
jupyter notebook code/semantics_visualization/visualize.ipynb