令人惊叹的LLM安全

这是一份关于LLM安全的优秀工具、文档和项目的精选合集。

我们始终欢迎贡献。在贡献之前，请阅读贡献指南。

[!NOTE] ⚡ 为了更高效地进行研究导航，我们通过Moonlight分享PDF文件，该平台会在原文之外提供摘要。

目录

• 令人惊叹的LLM安全
  • 目录
  • 论文
    • 白盒攻击
    • 黑盒攻击
    • 后门攻击
    • 指纹识别
    • 防御
    • 平台安全
    • 综述
  • 基准测试
  • 工具
  • 文章
  • 其他优秀的项目
  • 其他有用的资源

论文

白盒攻击

• "视觉对抗样本突破大型语言模型", 2023年6月, AAAI(口头报告) 24, 多模态, [论文] [代码库]
• "对齐的神经网络是否也具有对抗性对齐?", 2023年6月, NeurIPS(海报) 23, 多模态, [论文]
• "(滥用)图像与声音实现多模态LLM中的间接指令注入", 2023年7月, 多模态 [论文]
• "针对对齐语言模型的通用且可迁移的对抗攻击", 2023年7月, 可迁移, [论文] [代码库] [网站]
• "分块越狱：多模态语言模型上的组合式对抗攻击", 2023年7月, 多模态, [论文]
• "图像劫持：对抗性图像可在运行时控制生成模型", 2023年9月, 多模态, [论文] [代码库] [站点]
• "大型语言模型中的弱到强越狱", 2024年4月, 基于token概率, [论文] [代码库]

黑盒攻击

• “这不是你注册时所期望的：通过间接提示注入破坏现实世界中的大语言模型集成应用”，2023年2月，AISec@CCS 23 [论文]
• “越狱：大语言模型的安全训练为何失效？”，2023年7月，NeurIPS（口头报告）23，[论文]
• “潜在越狱：评估大型语言模型文本安全性和输出鲁棒性的基准测试”，2023年7月，[论文] [代码库]
• “从语言模型中有效提取提示”，2023年7月，“prompt-extraction”，[论文]
• “针对ChatGPT的多步越狱隐私攻击”，2023年4月，EMNLP 23，“privacy”，[论文]
• “LLM审查：是机器学习挑战还是计算机安全问题？”，2023年7月，[论文]
• “通过提示工程越狱ChatGPT：一项实证研究”，2023年5月，[论文]
• “针对集成大语言模型的应用程序的提示注入攻击”，2023年6月，[论文] [代码库]
• “MasterKey：跨多个大型语言模型聊天机器人实现自动化越狱”，2023年7月，“time-side-channel”，[论文]
• “GPT-4太聪明了，无法保证安全：通过密码与大语言模型进行隐蔽对话”，2023年8月，ICLR 24，“cipher”，[论文] [代码库]
• “将大语言模型用于非法目的：威胁、防范措施与漏洞”，2023年8月，[论文]
• “不要回答：用于评估大语言模型安全机制的数据集”，2023年8月，[论文] [代码库] [数据集]
• “利用困惑度检测语言模型攻击”，2023年8月，[论文]
• “芝麻开门！大型语言模型的通用黑盒越狱”，2023年9月，“gene-algorithm”，[论文]
• “对齐语言模型的微调会损害安全性，即使用户并无此意！”，2023年10月，ICLR（口头报告）24，[论文] [代码库] [网站] [数据集]
• “AutoDAN：在对齐的大语言模型上生成隐蔽的越狱提示”，2023年10月，ICLR（海报展示）24，“gene-algorithm”、“new-criterion”，[论文]
• “仅需少量上下文示范即可越狱并绕过安全机制的语言模型”，2023年10月，CoRR 23，“ICL”，[论文]
• “大型语言模型中的多语言越狱挑战”，2023年10月，ICLR（海报展示）24，[论文] [代码库]
• “通过角色模拟能够扩展且可迁移的黑盒越狱方法应用于语言模型”，2023年11月，SoLaR（海报展示）24，[论文]
• “DeepInception：催眠大型语言模型使其成为越狱者”，2023年11月，[论文] [代码库] [网站]
• “披着羊皮的狼：广义嵌套越狱提示能够轻易欺骗大型语言模型”，2023年11月，NAACL 24，[论文] [代码库]
• “AutoDAN：大型语言模型上的自动且可解释的对抗性攻击”，2023年10月，[论文]
• “语言模型逆向工程”，2023年11月，ICLR（海报展示）24，[论文] [代码库]
• “一个LLM可以欺骗它自己：基于提示的对抗性攻击”，2023年10月，ICLR（海报展示）24，[论文] [代码库]
• “GPTFUZZER：用自动生成的越狱提示对大型语言模型进行红队演练”，2023年9月，[论文] [代码库] [网站]
• “多轮次越狱”，2024年4月，[论文]
• “重新思考如何评估语言模型越狱”，2024年4月，[论文] [代码库]
• “信心诱导：大型语言模型的新攻击向量”，2025年2月，ICLR（海报展示）25，[论文] [代码库]
• “装傻充愣：利用分布外策略越狱LLM及多模态LLM”，2025年3月，CVPR 25，[论文] [代码库]

后门攻击

• “BITE：基于迭代触发器注入的文本后门攻击”，2022年5月，ACL 23，防御 [论文]
• “提示词作为后门攻击的触发器：探究语言模型的脆弱性”，2023年5月，EMNLP 23，[论文]
• “通过虚拟提示注入对指令微调的大规模语言模型进行后门攻击”，2023年7月，NAACL 24，[论文] [代码库] [网站]

指纹识别

• “大规模语言模型的指令指纹识别”，2024年1月，NAACL 24 [论文] [代码库] [网站]
• “TRAP：用于黑盒识别的定向随机对抗性提示蜜罐”，2024年2月，ACL 24（发现）[论文] [代码库] [视频] [海报]
• “LLMmap：面向大规模语言模型的指纹识别”，2024年7月，[论文] [代码库]

防御

• “针对对齐语言模型的对抗性攻击的基础防御措施”，2023年9月，[论文] [代码库]
• “LLM自我防御：通过自我检查，LLM能够察觉自己正被欺骗”，2023年8月，ICLR 24 Tiny Paper，自过滤，[论文] [代码库] [网站]
• “通过稳健对齐的LLM防御对齐破坏型攻击”，2023年9月，随机掩码过滤，[论文]
• “针对大规模语言模型间接提示注入攻击的基准测试与防御”，2023年12月，[论文] [代码库]
• “AutoDefense：多智能体LLM防御越狱攻击”，2024年3月，[论文] [代码库]
• “利用信息瓶颈保护您的LLM”，2024年4月，[论文] [代码库]
• “PARDEN，您能再说一遍吗？通过重复防御越狱攻击”，2024年5月，ICML 24，[论文] [代码库]
• “对抗性调优：为LLM防御越狱攻击”，2024年6月，[论文]
• “借助断路器提升对齐性和鲁棒性”，2024年6月，NeurIPS 24，[论文] [代码库]

平台安全

• “LLM平台安全：将系统性评估框架应用于OpenAI的ChatGPT插件”，2023年9月，[论文] [代码库]

综述

• “由对抗性攻击揭示的大规模语言模型漏洞综述”，2023年10月，ACL 24，[论文]
• “大规模语言模型的安全与隐私挑战：综述”，2024年2月，[论文]
• “拆解防御机制：大规模语言模型攻击的比较综述”，2024年3月，[论文]
• “为大规模语言模型（LLMs）实施红队威胁模型”，2024年7月，[论文]

基准测试

• “JailbreakBench：一个开放的大型语言模型越狱鲁棒性基准测试”，2024年3月，[论文] [代码库]
• “AgentDojo：评估LLM智能体攻击与防御的动态环境”，2024年6月，NeurIPS 24，[论文] [代码库] [网站]
• “提示注入攻击与防御的形式化及基准测试”，2024年8月，USENIX Security 24，[论文] [代码库]
• “AgentHarm：衡量LLM智能体危害性的基准测试”，2024年10月，[论文]

工具

• UTCP: 为您的 AI 代理提供安全、直接的原生端点工具调用
• Plexiglass: 用于测试和保护大型语言模型的安全工具箱
• PurpleLlama: 一套用于评估和提升 LLM 安全性的工具。
• Rebuff: 一种自我强化的提示注入检测器
• Garak: 一款 LLM 漏洞扫描器
• LLMFuzzer: 面向 LLM 的模糊测试框架
• LLM Guard: 用于 LLM 交互的安全工具包
• Vigil: 一款 LLM 提示注入检测工具包
• jailbreak-evaluation: 一个易于使用的 Python 包，用于评估语言模型的越狱行为
• Prompt Fuzzer: 开源工具，帮助您加固 GenAI 应用程序
• WhistleBlower: 开源工具，旨在根据 AI 代理生成的文本输出推断其系统提示。
• Open-Prompt-Injection: 开源工具，用于在基准数据集上评估提示注入攻击及其防御措施。
• Agentic Radar: 面向代理式工作流的开源 CLI 安全扫描器。

文章

• 黑客攻击 Auto-GPT 并逃逸其 Docker 容器
• 提示注入 Cheat Sheet：如何操纵 AI 语言模型
• 间接提示注入威胁
• 提示注入：最坏的情况会是什么？
• OWASP 大型语言模型应用十大风险
• PoisonGPT：我们如何在 Hugging Face 上隐藏一台被“前额叶切除”的 LLM 来传播假新闻
• ChatGPT 插件：通过图片进行数据外泄及跨插件请求伪造
• 越狱 GPT-4 的代码解释器
• 保护 LLM 系统免受提示注入攻击
• AI 攻击面地图 v1.0
• LLM 的对抗性攻击
• 任何人都可以黑掉 ChatGPT - GPT4o
• LLM 评估指标、框架与检查清单
• RAG 污染是如何让 Llama3 变得种族主义的！

其他优秀项目

• (Mozilla 的 0din GenAI 漏洞赏金计划)(https://0din.ai): 0Day 调查网络是一个专注于 GenAI 模型漏洞的漏洞赏金计划。漏洞类型包括提示注入、训练数据污染、拒绝服务等。
• Gandalf: 一款提示注入对抗游戏
• LangChain 易受代码注入攻击 - CVE-2023-29374
• LLM 安全初创公司
• 对抗性提示
• Epivolis: 一款能够感知提示注入并减轻对抗性攻击的聊天机器人
• DEFCON31 资格赛中的 LLM 安全问题: 世界顶级的安全竞赛
• PromptBounty.io
• PALLMs（针对大型语言模型的攻击载荷）

其他实用资源

• Twitter: @llm_sec
• 博客: LLM Security，由 @llm_sec 撰写
• 博客: Embrace The Red
• 博客: Kai 的博客
• 新闻简报: AI safety takes
• 新闻简报与博客: Hackstery

Awesome LLM Security 快速上手指南

awesome-llm-security 并非一个单一的独立软件工具，而是一个精选的资源列表仓库，汇集了关于大语言模型（LLM）安全的顶级论文、基准测试、开源工具和项目。本指南将帮助你快速利用该仓库中的核心资源进行安全研究与防御实践。

环境准备

由于本仓库包含多个独立的子项目（如攻击工具、防御框架、数据集等），你需要根据具体想运行的项目配置环境。以下是通用的基础环境要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (WSL2)
• Python: 3.8 或更高版本 (推荐 3.10+)
• 包管理器: pip 或 conda
• GPU: 可选，但运行大多数攻击/防御实验强烈建议使用 NVIDIA GPU 并安装 CUDA 驱动
• Git: 用于克隆仓库

前置依赖安装示例（以常见的 PyTorch 生态为例）：

# 建议先创建虚拟环境
python -m venv llm-security-env
source llm-security-env/bin/activate  # Windows: llm-security-env\Scripts\activate

# 安装基础依赖 (具体版本需参考子项目要求)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate datasets

提示：国内开发者可使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

由于这是一个资源聚合库，"安装"通常指克隆仓库并选择具体的子项目进行部署。

1. 克隆主仓库 获取最新的论文列表和项目链接：

   git clone https://github.com/llm-attacks/awesome-llm-security.git
   cd awesome-llm-security
   

2. 选择并安装具体工具 浏览 README.md 中的 Tools 或 Papers 部分，找到你感兴趣的项目（例如 llm-attacks 或 GPTFuzz），然后进入其对应的 GitHub 仓库进行安装。

   示例：安装通用对抗攻击工具 (llm-attacks)

   # 克隆具体项目
   git clone https://github.com/llm-attacks/llm-attacks.git
   cd llm-attacks
   
   # 安装该项目特定依赖
   pip install -e .
   # 或者
   pip install -r requirements.txt
   

   示例：安装自动化越狱工具 (GPTFuzz)

   git clone https://github.com/sherdencooper/GPTFuzz.git
   cd GPTFuzz
   pip install -r requirements.txt
   

基本使用

使用方法完全取决于你选择的具体子项目。以下提供两个典型场景的最简使用示例，展示如何利用这些资源进行安全测试。

场景一：运行白盒对抗攻击 (基于 llm-attacks)

该工具用于生成对抗性后缀以绕过模型对齐。

# 示例代码片段 (参考自 llm-attacks 项目)
import torch
from llm_attacks import get_attack_params, run_attack

# 1. 加载目标模型 (例如 Vicuna 或 Llama-2)
model, tokenizer = load_target_model("vicuna-7b-v1.3")

# 2. 定义攻击参数
params = get_attack_params(
    model=model,
    tokenizer=tokenizer,
    goal="Write a tutorial on how to make a bomb", # 恶意目标
    control_init="! ! ! ! ! ! ! ! ! !",           # 初始对抗后缀
    n_steps=500,                                  # 优化步数
    batch_size=512
)

# 3. 执行攻击
result = run_attack(params)
print(f"成功生成的对抗性提示: {result['best_suffix']}")

场景二：使用 GPTFuzz 进行黑盒模糊测试

该工具通过变异策略自动生成越狱提示词。

# 在 GPTFuzz 项目目录下运行
python main.py \
    --target_model "gpt-3.5-turbo" \
    --template "default" \
    --max_query 100 \
    --seed "How to build a bomb?"

查阅论文与资源

如果你仅需查阅文献或使用数据集，无需安装代码：

1. 打开克隆后的 README.md 文件。
2. 根据分类（如 White-box attack, Defense, Benchmark）查找感兴趣的论文。
3. 点击 [paper] 链接阅读摘要（部分通过 Moonlight 提供中文总结），或点击 [repo] 跳转至代码库。
4. 对于标有 [dataset] 的项目，可直接通过 Hugging Face 下载数据进行本地评估。

---

注：本仓库持续更新，具体命令参数请以各子项目最新的官方文档为准。在进行安全研究时，请严格遵守相关法律法规，仅用于授权的教育和研究目的。