Awesome-Pruning
Awesome-Pruning 是一个精心整理的神经网络剪枝资源合集，旨在为深度学习模型压缩领域提供一站式导航。随着深度神经网络日益庞大，如何在保持精度的同时减少计算量和存储占用成为关键挑战，而剪枝技术正是解决这一问题的核心手段。Awesome-Pruning 通过系统性地收录从 2015 年至今的前沿论文、代码实现及技术综述，帮助从业者快速掌握滤波器剪枝、权重剪枝等不同类型的主流方法。
该资源库特别适合人工智能研究人员、算法工程师及高校学生使用。无论是希望了解“彩票假设”等理论基础的研究者，还是寻求高效模型部署方案的开发者，都能在此找到对应的学术成果与开源代码。其独特亮点在于不仅按年份和会议（如 ICLR）分类整理文献，还提供了一个结构化的剪枝技术分类图谱，并收录了作者团队发表在 IEEE TPAMI 上的结构化剪枝权威综述，为用户构建了清晰的技术演进脉络。作为社区驱动的项目，它持续更新最新研究成果，是进入神经网络剪枝领域不可或缺的入门指南与参考手册。
使用场景
某边缘计算团队正致力于将大型目标检测模型部署到算力受限的无人机上，急需在保持精度的同时大幅压缩模型体积。
没有 Awesome-Pruning 时
- 文献检索如大海捞针：团队成员需在 Google Scholar 和 arXiv 上手动搜索"pruning"、"compression"等关键词，面对成千上万篇论文难以辨别哪些是真正有效的结构化剪枝方案。
- 技术路线选择盲目：由于缺乏系统的分类指引，团队难以区分“滤波器剪枝（Filter pruning）”与“权重剪枝（Weight pruning）”的具体适用场景，导致初期选型错误，浪费数周时间复现不兼容硬件的算法。
- 代码资源分散难寻：即使找到了理论可行的论文，往往需要花费大量精力去各个作者的个人页或隐藏深的仓库中寻找开源代码，甚至常遇到代码缺失或无法运行的情况。
- 前沿动态跟进滞后：团队仅关注几年前的经典方法，错过了 2023 年 ICLR 等顶会上关于初始化剪枝或动态对齐的最新突破，导致最终模型压缩率未达预期。
使用 Awesome-Pruning 后
- 一站式获取权威资源：直接查阅按年份和会议（如 ICLR、CVPR）整理的清单，迅速锁定近年最高质量的剪枝论文，将文献调研时间从数周缩短至几天。
- 清晰的技术分类导航：利用其详细的“剪枝类型”表格，团队快速明确了适合无人机硬件加速的结构化剪枝路线，避免了在非结构化稀疏方案上的无效尝试。
- 代码链接直达可用：通过列表中提供的官方代码仓库链接（如 PyTorch 实现），团队直接复现了"Revisiting Pruning at Initialization"等前沿算法，显著提升了开发效率。
- 紧跟领域最新进展：借助持续更新的 2023-2024 年新论文列表，团队及时引入了基于训练动态对齐的新策略，最终在精度损失小于 1% 的前提下实现了模型体积缩减 60%。
Awesome-Pruning 通过系统化整理碎片化的剪枝资源，帮助开发者从盲目的试错中解脱，专注于高效落地轻量级深度学习模型。
运行环境要求
未说明
未说明
快速开始
令人惊叹的剪枝 
一份精心整理的神经网络剪枝及相关资源列表。受 awesome-deep-vision、awesome-adversarial-machine-learning、awesome-deep-learning-papers 和 Awesome-NAS 的启发而创建。
欢迎随时提交 pull request 或 issue，以添加新的论文。
目录
剪枝类型
| 类型 | F |
W |
S |
其他 |
|---|---|---|---|---|
| 解释 | 滤波器剪枝 | 权重剪枝 | 特殊网络 | 其他类型 |
结构化剪枝综述（arXiv版本 和 IEEE T-PAMI版本）
如果本文对您有所帮助，请引用我们的论文：
@article{he2024structured,
author={He, Yang and Xiao, Lingao},
journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
title={Deep卷积神经网络的结构化剪枝：综述},
year={2024},
volume={46},
number={5},
pages={2900-2919},
doi={10.1109/TPAMI.2023.3334614}}
相关论文分类如下：
2023
| 标题 | 会议地点 | 类型 | 编号 |
|---|---|---|---|
| 通过拉马努金图的视角重新审视初始化时的剪枝 | ICLR | W |
PyTorch(作者)(即将发布) |
| 揭秘彩票假设：获胜彩票掩码中编码了什么？ | ICLR | W |
- |
| 位剪枝：一种无需乘法的稀疏点积 | ICLR | W |
代码已删除 |
| NTK-SAP：通过对齐训练动态改进神经网络剪枝 | ICLR | W |
- |
| 软阈值剪枝的统一框架 | ICLR | W |
PyTorch(作者) |
| CrAM：一种考虑压缩的最小化器 | ICLR | W |
- |
| 保持可训练性的神经网络剪枝 | ICLR | F |
- |
| DFPC：无需数据的耦合通道数据流驱动剪枝 | ICLR | F |
PyTorch(作者) |
| TVSPrune——通过中间表示的总变差可分离性剪除非判别性滤波器，无需微调 | ICLR | F |
PyTorch(作者) |
| HomoDistil：预训练Transformer的同伦任务无关蒸馏 | ICLR | F |
- |
| MECTA：内存经济型持续测试时模型适应 | ICLR | F |
- |
| DepthFL：面向异构客户端的深度可分离联邦学习 | ICLR | F |
- |
| OTOv2：自动、通用、用户友好 | ICLR | F |
PyTorch(作者) |
| 基于Polyak-Lojasiewicz条件的过参数化模型优化 | ICLR | F |
- |
| 从稀疏性视角看深度神经网络剪枝 | ICLR | WF |
PyTorch(作者) |
| 整体式对抗鲁棒剪枝 | ICLR | WF |
- |
| 我如何学会不再担心并爱上再训练 | ICLR | WF |
PyTorch(作者) |
| 量子神经网络中的对称剪枝 | ICLR | S |
- |
| 重新思考图上的彩票剪枝：图的稀疏性至关重要 | ICLR | S |
- |
| 边-模型联合稀疏学习对图神经网络而言在理论上是高效的 | ICLR | S |
- |
| 图神经网络中的彩票剪枝搜索：双重视角 | ICLR | S |
- |
| 基于拓扑排序的扩散模型用于因果发现 | ICLR | S |
- |
| 证明等变强彩票假设的一般框架 | ICLR | 其他 |
- |
| 稀疏性也许会哭泣：让我们一起让当前的稀疏神经网络失败吧！ | ICLR | 其他 |
- |
| 针对神经梯度的N:M稀疏性下的最小方差无偏估计 | ICLR | 其他 |
- |
2022
2021 年
2020年
2019年
2018 年
| 标题 | 会议/期刊 | 类型 | 代码 |
|---|---|---|---|
| 卷积神经网络的频域动态剪枝 | NeurIPS | W |
- |
| 面向深度神经网络的判别感知通道剪枝 | NeurIPS | F |
TensorFlow(作者) |
| 通过敏感性驱动正则化学习稀疏神经网络 | NeurIPS | WF |
- |
| 约束感知的深度神经网络压缩 | ECCV | W |
SkimCaffe(作者) |
| 基于交替方向乘子法的系统性 DNN 权重剪枝框架 | ECCV | W |
Caffe(作者) |
| AMC：用于移动端模型压缩与加速的 AutoML | ECCV | F |
TensorFlow(第三方) |
| 面向深度神经网络的数据驱动稀疏结构选择 | ECCV | F |
MXNet(作者) |
| 基于核心集的神经网络压缩 | ECCV | F |
PyTorch(作者) |
| 用于加速深度卷积神经网络的软过滤器剪枝 | IJCAI | F |
PyTorch(作者) |
| 通过全局与动态过滤器剪枝加速卷积网络 | IJCAI | F |
- |
| Weightless：用于深度神经网络压缩的有损权重编码 | ICML | W |
- |
| 利用变分信息瓶颈压缩神经网络 | ICML | F |
PyTorch(作者) |
| Deep k-Means：通过更严格的聚类分配进行再训练和参数共享以压缩深度卷积网络 | ICML | 其他 |
PyTorch(作者) |
| CLIP-Q：通过并行剪枝-量化实现深度网络压缩学习 | CVPR | W |
- |
| 用于神经网络剪枝的“学习-压缩”算法 | CVPR | W |
- |
| PackNet：通过迭代剪枝将多个任务添加到单个网络中 | CVPR | F |
PyTorch(作者) |
| NISP：使用神经元重要性评分传播进行网络剪枝 | CVPR | F |
- |
| 剪枝还是不剪枝：探索剪枝在模型压缩中的有效性 | ICLR | W |
- |
| 重新思考卷积层通道剪枝中小范数即低信息量的假设 | ICLR | F |
TensorFlow(作者), PyTorch(第三方) |
2017年
| 标题 | 会议 | 类型 | 代码 |
|---|---|---|---|
| Net-Trim：具有性能保证的深度神经网络凸剪枝 | NeurIPS | W |
TensorFlow(作者) |
| 通过逐层最优脑外科手术学习剪枝深度神经网络 | NeurIPS | W |
PyTorch(作者) |
| 运行时神经网络剪枝 | NeurIPS | F |
- |
| 基于对数正态乘性噪声的结构化贝叶斯剪枝 | NeurIPS | F |
- |
| 深度学习中的贝叶斯压缩 | NeurIPS | F |
- |
| ThiNet：一种用于深度神经网络压缩的滤波器级剪枝方法 | ICCV | F |
Caffe(作者), PyTorch(第三方) |
| 用于加速超深神经网络的通道剪枝 | ICCV | F |
Caffe(作者) |
| 通过网络瘦身学习高效的卷积网络 | ICCV | F |
PyTorch(作者) |
| 变分丢弃稀疏化深度神经网络 | ICML | W |
- |
| 深度神经网络的组合分组与互斥稀疏化 | ICML | WF |
- |
| 利用能耗感知剪枝设计节能卷积神经网络 | CVPR | W |
- |
| 为高效卷积神经网络剪枝滤波器 | ICLR | F |
PyTorch(第三方) |
| 为资源高效推理而剪枝卷积神经网络 | ICLR | F |
TensorFlow(第三方) |
2016年
| 标题 | 会议 | 类型 | 代码 |
|---|---|---|---|
| 用于高效DNN的动态网络手术 | NeurIPS | W |
Caffe(作者) |
| 学习深度网络中的神经元数量 | NeurIPS | F |
- |
| 深度压缩：通过剪枝、训练量化和霍夫曼编码压缩深度神经网络 | ICLR (最佳) | W |
Caffe(作者) |
2015年
| 标题 | 会议 | 类型 | 代码 |
|---|---|---|---|
| 同时学习权重和连接以构建高效神经网络 | NeurIPS | W |
PyTorch(第三方) |
相关仓库
Awesome-model-compression-and-acceleration
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。