CipherChat 🔐

一种新颖的框架CipherChat，用于系统性地检验安全对齐在非自然语言——密码中的泛化能力。

如果您有任何问题，请随时通过电子邮件联系第一作者：Youliang Yuan。

👉 论文

欲了解更多详情，请参阅我们的论文ICLR 2024。

爱💗与和平🌊

仅供研究使用✅ 严禁滥用❌

我们的结果

我们在experimental_results中提供了我们的结果（查询-响应对），这些文件可使用torch.load()加载。然后，您可以得到一个列表：第一个元素是配置，其余元素则是查询-响应对。

result_data = torch.load(filename)
config = result_data[0]
pairs = result_data[1:]

🛠️ 使用方法

✨一个示例运行：

python3 main.py \
 --model_name gpt-4-0613 \
--data_path data/data_en_zh.dict \
--encode_method caesar \
--instruction_type 犯罪与非法活动 \
--demonstration_toxicity 有毒 \
--language en

🔧 参数说明

1. --model_name: 要评估的模型名称。

2. --data_path: 选择要运行的数据。

3. --encode_method: 选择要使用的密码。

4. --instruction_type: 选择数据的领域。

5. --demonstration_toxicity: 选择有毒或安全的演示。

6. --language: 选择数据的语言。

💡框架

我们的方法假设，由于人类反馈和安全对齐是以自然语言呈现的，因此使用人类无法读懂的密码可能有效地绕过安全对齐。直观地说，我们首先通过将大语言模型指定为密码专家，并阐明加密和解密规则，辅以若干演示，来教会大语言模型清晰理解密码。随后，我们将输入转换为密码形式，这种密码不太可能被大语言模型的安全对齐所覆盖，然后再将其输入大语言模型。最后，我们采用基于规则的解密器，将模型输出的密码格式转换回自然语言形式。

📃结果

我们实验中的查询-响应对都以列表形式存储在“experimental_results”文件夹中，可以使用torch.load()加载数据。

🌰案例研究

🫠消融研究

🦙其他模型

社区讨论：

• Twitter: AIDB, Jiao Wenxiang

引用

如果您觉得我们的论文和工具有趣且有用，请随时给我们一个星标，并通过以下方式引用我们：

@inproceedings{yuan2024cipherchat,
  title={GPT-4太聪明了，无法保证安全：通过密码与大语言模型进行隐蔽聊天},
  author={袁友亮、焦文翔、王文轩、黄振泽、何品嘉、史树铭、涂兆鹏},
  booktitle={第十二届国际表示学习大会}
}

CipherChat 快速上手指南

环境准备

• 系统要求：Linux / macOS / Windows（推荐 Python 3.8+）
• 前置依赖：
  • Python 3.8+
  • PyTorch（推荐使用国内源加速安装）
  • OpenAI API 密钥（如使用 GPT-4）

pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install openai

✅ 推荐使用清华源加速依赖安装，避免网络超时。

安装步骤

1. 克隆仓库：

git clone https://github.com/RobustNLP/CipherChat.git
cd CipherChat

2. 安装必要依赖（如未提前安装）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注：项目未提供 requirements.txt，请按需安装 torch 和 openai。

基本使用

运行最简示例，测试 GPT-4 在凯撒密码下的安全对齐绕过能力：

python3 main.py \
  --model_name gpt-4-0613 \
  --data_path data/data_en_zh.dict \
  --encode_method caesar \
  --instruction_type Crimes_And_Illegal_Activities \
  --demonstration_toxicity toxic \
  --language en

输出说明

实验结果将自动保存至 experimental_results/ 目录，格式为 .pt 文件，可通过以下代码加载：

import torch
result_data = torch.load("experimental_results/xxx.pt")
config = result_data[0]
pairs = result_data[1:]  # 查询-响应对列表

📌 仅限研究用途，禁止滥用。