cifar10_challenge
cifar10_challenge 是一个专注于评估神经网络在 CIFAR-10 数据集上对抗鲁棒性的开源挑战项目。随着针对神经网络的对抗攻击技术（如 CleverHans 库）日益成熟，如何准确衡量模型的防御能力成为关键难题。该项目通过提供一个经过对抗训练的高鲁棒性模型（初期权重保密），邀请全球研究者提交攻击样本，旨在找出能让该模型准确率显著下降的对抗示例，从而厘清当前对抗防御技术的真实水平。
这一挑战有效解决了以往防御机制评估中标准不一、复现困难的问题，为学术界提供了一个公平、透明的基准测试平台。它特别适合人工智能领域的研究人员、算法工程师以及对模型安全性感兴趣的开发者使用。通过参与挑战，用户可以验证自己提出的攻击算法有效性，或借鉴榜单上的顶尖方案优化防御策略。
项目的独特亮点在于其严谨的“攻防演练”模式：不仅公开了训练代码和网络架构，还建立了动态排行榜，实时展示黑盒与白盒攻击下的最新突破成果。例如，榜单记录了从基础的 FGSM 到先进的引导式局部攻击等多种技术在不同阶段的表现。这种机制极大地促进了社区协作，推动了深度学习模型安全性的实证研究与技术进步。
使用场景
某自动驾驶初创公司的算法团队正在开发基于视觉的交通标志识别系统，急需验证其模型在对抗样本攻击下的鲁棒性以确保行车安全。
没有 cifar10_challenge 时
- 缺乏统一评测标准：团队只能自行构建测试集，不同成员使用的攻击算法（如 FGSM、PGD）参数不一，导致评估结果无法横向对比，难以判断模型真实防御水平。
- 复现前沿攻击成本高：研究人员需花费数周时间从零复现 Carlini-Wagner 等复杂攻击代码，且常因细节缺失导致攻击效果不佳，误判模型安全性。
- 陷入“虚假安全”陷阱：由于未经历高强度、多样化的对抗训练挑战，模型在内部测试中准确率看似很高，实则存在严重盲区，部署后极易被恶意干扰误导。
- 社区协作困难：闭门造车式的测试无法利用全球研究者的智慧，错过了发现深层漏洞的机会，延缓了防御机制的迭代速度。
使用 cifar10_challenge 后
- 确立行业基准线：直接接入挑战提供的标准化测试流程和白盒/黑榜排行榜，团队能立即将自家模型与全球顶尖攻击算法（如 Guided Local Attack）进行公平对标。
- 快速获取最强攻击样本：利用挑战中开源的训练代码和已释放的权重，团队可瞬间生成涵盖多种策略的高质量对抗样本，将验证周期从数周缩短至数小时。
- 暴露真实脆弱点：通过挑战中积累的多样化攻击案例（如多目标攻击、分布对抗攻击），团队精准定位了模型在特定噪声下的失效模式，从而针对性地加固防御。
- 融入全球科研生态：提交攻击结果至排行榜不仅验证了自身能力，还促进了与社区的技术交流，加速了鲁棒性方案的落地应用。
cifar10_challenge 通过提供标准化的对抗攻防竞技场，帮助开发者打破自测局限，以最低成本验证并提升神经网络在真实对抗环境中的生存能力。
运行环境要求
- 未说明
训练和评估脚本支持 GPU 加速（eval.py 可配置在 CPU 运行以避免占用训练资源），具体型号、显存大小及 CUDA 版本未说明
未说明
快速开始
CIFAR10 对抗样本挑战赛
最近，针对神经网络的对抗性攻击取得了许多进展，例如 CleverHans 库以及 Carlini 和 Wagner 的代码。我们现在通过为 CIFAR10 数据集 提出一项 攻击挑战 来补充这些进展，该挑战遵循我们之前 MNIST 挑战 的格式。我们已经训练了一种鲁棒网络，目标是找到一组对抗样本，使得该网络在这些样本上的准确率极低。为了训练这种对抗鲁棒网络，我们采用了近期论文中的方法：
迈向对抗攻击防御的深度学习模型
Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras, Adrian Vladu
https://arxiv.org/abs/1706.06083。
作为挑战的一部分，我们公开了训练代码和网络架构，但保留了网络权重的秘密。我们邀请所有研究人员提交针对我们模型的攻击（详见下文说明）。未来两个月内，我们将维护最佳攻击排行榜，随后公布我们的秘密网络权重。
与我们的 MNIST 挑战类似，本次挑战的目标是明确 CIFAR10 上对抗鲁棒性的最新技术水平。此外，我们希望未来的防御机制研究也能采用类似的挑战形式，以提高可重复性和实验比较的可靠性。
更新 2017-12-10：我们已发布秘密模型。您可以通过运行 python fetch_model.py secret 下载该模型。自 12 月 10 日起，我们不再接受黑盒挑战提交。我们已为白盒攻击（针对现已发布的秘密模型）设立了排行榜，提交格式与之前相同。我们计划在可预见的未来继续评估提交内容并维护排行榜。
黑盒排行榜（原始挑战）
| 攻击 | 提交者 | 准确率 | 提交日期 |
|---|---|---|---|
| 针对对抗训练的公开网络，在交叉熵损失上使用 PGD | （初始条目） | 63.39% | 2017年7月12日 |
| 针对对抗训练的公开网络，在 CW 损失上使用 PGD | （初始条目） | 64.38% | 2017年7月12日 |
| 针对对抗训练的公开网络，在 CW 损失上使用 FGSM | （初始条目） | 67.25% | 2017年7月12日 |
| 针对自然训练的公开网络，在 CW 损失上使用 FGSM | （初始条目） | 85.23% | 2017年7月12日 |
白盒排行榜
| 攻击 | 提交者 | 准确率 | 提交日期 |
|---|---|---|---|
| 引导局部攻击 | Siyuan Yi | 43.95% | 2021年8月2日 |
| EWR-PGD | Ye Liu | 43.96% | 2020年9月8日 |
| 输出多样化初始化的 PGD 攻击 | Yusuke Tashiro | 43.99% | 2020年2月15日 |
| 多目标攻击 | Sven Gowal | 44.03% | 2019年8月28日 |
| FAB：快速自适应边界攻击 | Francesco Croce | 44.51% | 2019年6月7日 |
| 分布对抗攻击 | Tianhang Zheng | 44.71% | 2018年8月21日 |
| 在交叉熵损失上进行 20 步 PGD，并随机重启 10 次 | Tianhang Zheng | 45.21% | 2018年8月24日 |
| 在交叉熵损失上进行 20 步 PGD | （初始条目） | 47.04% | 2017年12月10日 |
| 在 CW 损失上进行 20 步 PGD | （初始条目） | 47.76% | 2017年12月10日 |
| 在 CW 损失上使用 FGSM | （初始条目） | 54.92% | 2017年12月10日 |
| 在交叉熵损失上使用 FGSM | （初始条目） | 55.55% | 2017年12月10日 |
格式与规则
挑战的目标是寻找对我们的 CIFAR10 模型有效的黑盒（迁移）攻击。允许攻击将输入图像的每个像素在 0–255 的像素范围内最多扰动 epsilon=8.0。为确保攻击确实是黑盒性质，我们公开了训练代码和模型架构，但保留了实际的网络权重秘密。
我们诚邀所有感兴趣的研究人员提交针对我们模型的攻击。最成功的攻击将被列入上述排行榜。作为参考，我们已在排行榜中预置了一些标准攻击的结果。
CIFAR10 模型
我们使用本仓库中发布的代码，训练了一个用于 CIFAR10 分类的对抗鲁棒模型。该模型是一个残差卷积神经网络，由五个残差单元和一个全连接层组成。此架构源自 TensorFlow 模型库 中的“w32-10 wide”变体。该网络是在迭代对抗环境下训练的，允许对手对每个像素的最大扰动幅度为 epsilon=8.0。
用于训练的随机种子以及训练好的网络权重将被保密。
我们模型文件的 sha256() 摘要如下：
555be6e892372599380c9da5d5f9802f9cbd098be8a47d24d96937a002305fd4
我们将于 2017 年 9 月 15 日发布对应的模型文件，这大约是在本次竞赛开始后的两个月。编辑：应大家要求，我们将提交攻击的截止日期延长至 10 月 15 日。
攻击模型
我们关注的是基于 CIFAR10 测试集生成的对抗性输入。每个像素在其初始值的基础上，可在 0–255 的像素范围内最多扰动 epsilon=8.0。所有像素可以独立扰动，因此这是一种 l_infinity 范数下的攻击。
提交攻击
每个攻击应由 CIFAR10 测试集的扰动版本组成。该测试集中的每张扰动图像都应遵循上述攻击模型。
对抗性测试集应以 NumPy 数组的形式呈现，每行为一个样本，每一行包含一个 32×32×3 的像素数组。因此，整体维度为 10,000×32×32×3。每个像素的取值范围必须在 [0, 255] 内。请参阅脚本 pgd_attack.py，其中实现了一种生成此格式对抗性测试集的攻击方法。
要提交您的攻击，请使用 numpy.save 将包含对抗样本的矩阵保存下来，并将生成的文件发送至 cifar10.challenge@gmail.com。随后，我们将对您的文件运行 run_attack.py 脚本，以验证攻击的有效性，并评估我们的秘密模型在您提供的样本上的准确率。之后，我们会回复您关于我们模型对每个样本的预测结果以及模型在您评估集上的总体准确率。
如果攻击有效且性能优于排行榜上所有现有攻击，则该攻击将显示在排行榜顶部。即使某些新型攻击并未取得最佳效果，也可能被纳入排行榜。
我们强烈鼓励您公开您的攻击方法。我们很乐意在排行榜中添加指向您代码的链接。
代码概述
代码由七份 Python 脚本和一个名为 config.json 的配置文件组成，后者包含了各种参数设置。
代码运行说明
python train.py：训练网络，并在训练过程中保存检查点。python eval.py：无限循环的评估程序，会在新检查点生成时立即处理并记录摘要信息。该脚本通常与train.py并行运行。python pgd_attack.py：对 CIFAR10 评估集应用攻击，并将生成的对抗性评估集保存为.npy文件。此文件符合我们挑战赛的有效攻击格式。python run_attack.py：在config.json中指定的.npy文件所包含的样本上评估模型，同时确保这些对抗性样本确实构成有效的攻击。该脚本还会将模型预测结果保存到pred.npy文件中。python fetch_model.py name：下载指定名称的预训练模型（目前支持adv_trained和natural），打印其 SHA-256 哈希值，并将其放置在models目录中。cifar10_input.py提供用于加载 CIFAR10 数据集的实用函数和类。
config.json 中的参数
模型配置：
model_dir：当前正在训练或评估的模型目录路径。
训练配置：
tf_random_seed：用于初始化网络权重的随机数生成器种子。numpy_random_seed：用于以随机顺序遍历数据集的随机数生成器种子。max_num_training_steps：最大训练步数。num_output_steps：每多少步在标准输出中打印一次进度。num_summary_steps：每多少步存储一次 TensorBoard 摘要。num_checkpoint_steps：每多少步保存一次模型检查点。training_batch_size：训练批次大小。
评估配置：
num_eval_examples：用于评估模型的 CIFAR10 样本数量。eval_batch_size：评估批次大小。eval_on_cpu：强制eval.py脚本在 CPU 上运行，以避免与train.py脚本争夺 GPU 资源。
对抗性样本配置：
epsilon：每个像素允许的最大扰动幅度。k：攻击者使用的 PGD 迭代次数。a：PGD 攻击步长。random_start：指定攻击者是从原始样本开始迭代，还是从其随机扰动版本开始。loss_func：用于执行 PGD 的损失函数。xent对应标准交叉熵损失，cw对应 Carlini 和 Wagner 提出的损失函数。store_adv_path：存储对抗性样本的文件路径。此参数适用于pgd_attack.py和run_attack.py脚本。
使用示例
克隆仓库后，您可以选择训练新网络，也可以评估或攻击我们提供的预训练网络。
训练新网络
- 启动训练：
python train.py
- （可选）同时运行以下命令以记录评估摘要：
python eval.py
下载预训练网络
- 对于对抗训练的网络，运行：
python fetch_model.py adv_trained
并修改 config.json 文件，将 "model_dir": "models/adv_trained"。
- 对于自然训练的网络，运行：
python fetch_model.py natural
并修改 config.json 文件，将 "model_dir": "models/naturally_trained"。
测试网络
- 通过运行以下命令创建攻击文件：
python pgd_attack.py
- 然后使用以下命令评估网络：
python run_attack.py
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
tesseract
Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。 在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。 Tesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中