优秀深度神经网络压缩资源

论文集、摘要、代码，涵盖深度神经网络压缩的各个方面，包括：

• 量化，
• 剪枝（非结构化、结构化），
• 知识蒸馏，

以及其他相关主题。

论文：

• 按主题分类：

  • 量化
  • 剪枝
  • 高效模型设计
  • 用于模型压缩的网络架构搜索 (NAS)
  • 压缩与鲁棒性（对抗性）
  • NLP 压缩
  • 可微压缩
  • 大规模预训练模型：涵盖语言、视觉等领域

• 按会议分类：

  • 2024 年
  • 2023 年
  • 2022 年
  • 2021 年
  • 2020 年
  • 2019 年
  • 2018 年

• 综述

• 相关主题：

  • 优化
  • 元学习

压缩系统：

• DeepSpeed
• ColossalAI
• Distiller
• PocketFlow

代码 / 工具：

• 我的实现：我对当前最先进压缩方法的复现。

总结：

我对网络压缩的总结（幻灯片）。选取了一些论文进行展示。

• 量化总结
• 剪枝总结
• 理论：从基础凸优化到量化

Awesome-Deep-Neural-Network-Compression 快速上手指南

本项目是一个深度神经网络压缩（Deep Neural Network Compression）的精选资源库，涵盖量化、剪枝、知识蒸馏等方向的论文、代码实现及系统工具汇总。它主要作为学术研究和工程落地的索引目录，而非单一的 Python 包。

环境准备

由于本项目聚合了多种算法的实现代码和外部系统链接，建议准备以下基础环境：

• 操作系统：Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python 版本：Python 3.8 或更高版本
• 核心依赖：
  • PyTorch 或 TensorFlow (具体版本取决于你选择的子项目代码)
  • Git (用于克隆仓库)
• 硬件要求：如需运行具体的压缩训练示例，建议配备 NVIDIA GPU 及对应的 CUDA 驱动。

安装步骤

本项目本身是一个资源列表，无需通过 pip 安装主包。你需要克隆仓库以获取论文列表、总结文档以及作者复现的代码。

1. 克隆仓库

   git clone https://github.com/csyhhu/Awesome-Deep-Neural-Network-Compression.git
   cd Awesome-Deep-Neural-Network-Compression
   

2. 配置具体算法环境（可选） 如果你打算运行 Codes 目录下的复现代码，请进入对应子目录并安装其特定依赖。例如：

   cd Codes
   # 查看具体子文件夹的 README 或 requirements.txt
   ls
   # 假设进入某个具体算法目录后：
   # pip install -r requirements.txt
   

3. 访问相关系统工具 对于大型压缩系统（如 DeepSpeed, ColossalAI），请访问项目中列出的独立仓库进行安装。推荐使用国内镜像源加速安装：

   # 以安装 DeepSpeed 为例，使用清华源
   pip install deepspeed -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目的核心用途是检索资源和参考代码。以下是三种最基本的使用方式：

1. 查阅分类论文列表

在终端或浏览器中查看按主题整理的论文清单。例如，查看**量化（Quantization）**相关的论文列表：

cat Paper/Quantization.md

或者查看按会议年份整理的列表（如 2024 年论文）：

cat Paper/Conference/2024.md

2. 阅读核心总结幻灯片

项目提供了关于量化和剪枝的核心概念总结（PDF 格式），适合快速入门理论：

• 量化总结：Summary/Quantization-Summary.pdf
• 剪枝总结：Summary/Prunning-Summary.pdf

你可以使用本地 PDF 阅读器打开：

# Linux 示例 (需安装 evince 或其他 pdf 阅读器)
evince Summary/Quantization-Summary.pdf &

3. 运行复现代码

进入 Codes 目录，这里包含了作者对主流压缩方法的重现实现。选择一个算法目录，按照其内部的 README 指示运行训练脚本。

cd Codes
# 进入具体的算法文件夹，例如 (示例路径，具体视仓库更新而定)
cd quantization_method_example
python train.py --config config.yaml

提示：对于生产级应用，建议直接参考项目中 Compression System 部分列出的成熟框架（如 DeepSpeed 或 ColossalAI），它们提供了更完善的 API 和文档。