gan-compression

GitHub
1.1k 152 中等 1 次阅读 2周前NOASSERTION语言模型开发框架图像
AI 解读 由 AI 自动生成，仅供参考

gan-compression 是一款专为条件生成对抗网络（GAN）设计的通用压缩工具，旨在让复杂的图像生成模型也能在普通设备上流畅运行。它主要解决了主流 GAN 模型（如 pix2pix、CycleGAN、MUNIT 和 GauGAN）计算量过大、难以实时交互的痛点。通过该技术，模型的计算成本可降低 9 至 29 倍，同时保持极高的图像生成质量，甚至在 Jetson Nano 等边缘设备上也能实现每秒 8 帧的交互速度。

这款工具非常适合 AI 研究人员、开发者以及需要在移动端或嵌入式设备部署视觉应用的设计师使用。其核心技术亮点在于创新的“一次训练，处处适用”（Once-for-All）架构：首先从一个预训练的大型教师模型中，蒸馏出一个包含所有可能通道数的学生生成器；随后无需重新训练，即可直接从中提取出满足不同性能需求的子模型。这种方法不仅大幅减少了训练时间，还能通过自动化搜索快速找到在特定压缩率下表现最优的模型结构，让高效能 GAN 的定制变得简单快捷。

使用场景

一家专注于移动端 AR 应用的初创团队，正试图将高质量的风格迁移算法（如 CycleGAN）部署到算力有限的 Jetson Nano 开发板上，以实现实时的“手绘变照片”互动功能。

没有 gan-compression 时

  • 推理速度极慢：原始生成器模型在边缘设备上运行帧率不足 1 FPS，画面严重卡顿，完全无法满足“实时互动”的产品需求。
  • 硬件资源耗尽：庞大的模型参数量占用了大量 GPU 显存和内存，导致设备发热严重甚至频繁崩溃，无法与其他 AR 模块共存。
  • 部署成本高昂：为了勉强运行模型，团队被迫升级昂贵的服务器端推理方案，增加了网络延迟，破坏了本地处理的低延迟优势。
  • 调优难度极大：尝试手动剪枝或量化模型需要深厚的专业知识，且往往以牺牲图像细节为代价，重训过程耗时数周且效果不稳定。

使用 gan-compression 后

  • 实现流畅交互：利用一次训练多方适用（Once-for-All）架构搜索出的子网络，在 Jetson Nano 上将推理速度提升至 8 FPS，实现了丝滑的实时渲染。
  • 显著降低负载：模型计算量减少了 9 到 29 倍，显存占用大幅下降，设备温度可控，轻松集成了姿态追踪等其他轻量级算法。
  • 保持视觉高保真：在极度压缩的同时，通过知识蒸馏保留了原模型的纹理细节，FID 指标几乎没有退化，用户难以察觉画质损失。
  • 开发效率飞跃：无需从零设计轻量结构，直接基于预训练教师模型提取最佳子生成器，将原本数周的模型适配工作缩短至几天内完成。

gan-compression 成功打破了高质量生成模型在边缘设备上的性能瓶颈，让复杂的条件 GAN 应用得以在低功耗硬件上真正落地。

运行环境要求

操作系统
  • Linux
GPU
  • 需要 NVIDIA GPU（支持 CUDA CuDNN），CPU 亦可运行但推荐 GPU
  • 具体显存大小和 CUDA 版本未说明（文中提及在 Jetson Nano 上可达 8FPS，暗示支持嵌入式 GPU）
内存

未说明

依赖
notes该项目明确列出的操作系统仅为 Linux。PyTorch 版本要求为 1.4。支持多种模型架构（pix2pix, CycleGAN, MUNIT, GauGAN）。部分数据集（如 Cityscapes）因许可问题需用户自行下载并预处理。项目包含针对 TVM 优化的模型以在边缘设备（如 Jetson Nano）上加速推理。
python3
torch==1.4
torchvision
tvm
gan-compression hero image

快速开始

GAN压缩

项目 | 论文 | 视频 | 幻灯片

[新!] GAN压缩已被T-PAMI接收！我们在arXiv v4版本中发布了T-PAMI版本！

[新!] 我们发布了我们的交互式演示代码，并包含了TVM调优后的模型。现在在Jetson Nano GPU上可达到8FPS！

[新!] 增加了对MUNIT的支持，这是一种多模态无监督图像到图像转换方法！请按照测试命令来测试预训练模型，并参考教程来训练您自己的模型！

teaser 我们提出了GAN压缩，一种用于压缩条件生成对抗网络的通用方法。我们的方法在保持视觉保真度的同时，将广泛使用的条件GAN模型（包括pix2pix、CycleGAN、MUNIT和GauGAN）的计算量减少了9至29倍。该方法对多种生成器架构、学习目标以及成对和非成对设置均有效。

GAN压缩：用于交互式条件GAN的高效架构
Muyang Li、Ji Lin、Yaoyao Ding、Zhijian Liu、Jun-Yan Zhu和Song Han
MIT、Adobe Research、上海交通大学
发表于CVPR 2020。

演示

概述

overviewGAN压缩框架：① 给定一个预训练的教师生成器G'，我们通过权重共享提炼出一个包含所有可能通道数的“一次到位”学生生成器G。在每个训练步骤中，我们为学生生成器G选择不同的通道数。② 然后，我们从“一次到位”生成器中提取多个子生成器，并评估它们的性能。无需重新训练，这是“一次到位”生成器的优势。③ 最后，我们根据压缩比目标和性能目标（FID或mIoU），使用暴力搜索或进化搜索方法选择最佳子生成器。可选地，我们会进行额外的微调，从而得到最终的压缩模型。

性能

performance

GAN压缩可将pix2pix、CycleGAN和GauGAN的计算量减少9至21倍，模型大小减少4.6至33倍。

Colab笔记本

PyTorch Colab笔记本：CycleGAN和pix2pix。

先决条件

  • Linux
  • Python 3
  • CPU或NVIDIA GPU + CUDA CuDNN

开始使用

安装

  • 克隆此仓库：

    git clone git@github.com:mit-han-lab/gan-compression.git
cd gan-compression

  • 安装PyTorch 1.4及其他依赖项（如torchvision）。

    • 对于pip用户，请运行pip install -r requirements.txt。
    • 对于Conda用户，我们提供了一个安装脚本scripts/conda_deps.sh。或者，您可以使用conda env create -f environment.yml创建一个新的Conda环境。

CycleGAN

设置

  • 下载CycleGAN数据集（例如horse2zebra）。

    bash datasets/download_cyclegan_dataset.sh horse2zebra

  • 获取您数据集的真实图像统计信息，以便计算FID。我们为几个数据集提供了预先准备好的真实统计信息。例如，

    bash datasets/download_real_stat.sh horse2zebra A
bash datasets/download_real_stat.sh horse2zebra B

应用预训练模型

  • 下载预训练模型。

    python scripts/download_model.py --model cycle_gan --task horse2zebra --stage full
python scripts/download_model.py --model cycle_gan --task horse2zebra --stage compressed

  • 测试原始完整模型。

    bash scripts/cycle_gan/horse2zebra/test_full.sh

  • 测试压缩模型。

    bash scripts/cycle_gan/horse2zebra/test_compressed.sh

  • 测量两个模型的延迟。

    bash scripts/cycle_gan/horse2zebra/latency_full.sh
bash scripts/cycle_gan/horse2zebra/latency_compressed.sh

  • 由于我们重新训练了模型，上述模型的结果可能与论文中的结果略有不同。我们也发布了论文中的压缩模型。如果存在此类不一致，您可以尝试以下命令来测试我们的论文模型：

    python scripts/download_model.py --model cycle_gan --task horse2zebra --stage legacy
bash scripts/cycle_gan/horse2zebra/test_legacy.sh
bash scripts/cycle_gan/horse2zebra/latency_legacy.sh

Pix2pix

设置

  • 下载pix2pix数据集（例如edges2shoes）。

    bash datasets/download_pix2pix_dataset.sh edges2shoes-r

  • 获取您数据集的真实图像统计信息，以便计算FID。我们为几个数据集提供了预先准备过的真实统计信息。例如，

    bash datasets/download_real_stat.sh edges2shoes-r B
bash datasets/download_real_stat.sh edges2shoes-r subtrain_B

应用预训练模型

  • 下载预训练模型。

    python scripts/download_model.py --model pix2pix --task edges2shoes-r --stage full
python scripts/download_model.py --model pix2pix --task edges2shoes-r --stage compressed

  • 测试原始完整模型。

    bash scripts/pix2pix/edges2shoes-r/test_full.sh

  • 测试压缩模型。

    bash scripts/pix2pix/edges2shoes-r/test_compressed.sh

  • 测量两个模型的延迟。

    bash scripts/pix2pix/edges2shoes-r/latency_full.sh
bash scripts/pix2pix/edges2shoes-r/latency_compressed.sh

  • 由于我们重新训练了模型，上述模型的结果可能与论文中的结果略有不同。我们也发布了论文中的压缩模型。如果存在此类不一致，您可以尝试以下命令来测试我们的论文模型：

    python scripts/download_model.py --model pix2pix --task edges2shoes-r --stage legacy
bash scripts/pix2pix/edges2shoes-r/test_legacy.sh
bash scripts/pix2pix/edges2shoes-r/latency_legacy.sh

GauGAN

设置

  • 准备 Cityscapes 数据集。请参阅 这里 了解如何准备 Cityscapes 数据集。

  • 获取您数据集的真实图像统计信息，以便计算 FID。我们为多个数据集提供了预先准备好的真实统计信息。例如：

    bash datasets/download_real_stat.sh cityscapes A

应用预训练模型

  • 下载预训练模型。

    python scripts/download_model.py --model gaugan --task cityscapes --stage full
python scripts/download_model.py --model gaugan --task cityscapes --stage compressed

  • 测试原始完整模型。

    bash scripts/gaugan/cityscapes/test_full.sh

  • 测试压缩模型。

    bash scripts/gaugan/cityscapes/test_compressed.sh

  • 测量两个模型的延迟。

    bash scripts/gaugan/cityscapes/latency_full.sh
bash scripts/gaugan/cityscapes/latency_compressed.sh

  • 由于我们重新训练了模型，上述模型的结果可能与论文中的结果略有不同。我们也发布了论文中的压缩模型。如果存在此类不一致，您可以尝试以下命令来测试我们的论文模型：

    python scripts/download_model.py --model gaugan --task cityscapes --stage legacy
bash scripts/gaugan/cityscapes/test_legacy.sh
bash scripts/gaugan/cityscapes/latency_legacy.sh

MUNIT

设置

  • 准备数据集（例如 edges2shoes-r）。

    bash datasets/download_pix2pix_dataset.sh edges2shoes-r
python datasets/separate_A_and_B.py --input_dir database/edges2shoes-r --output_dir database/edges2shoes-r-unaligned
python datasets/separate_A_and_B.py --input_dir database/edges2shoes-r --output_dir database/edges2shoes-r-unaligned --phase val

  • 获取您数据集的真实图像统计信息，以便计算 FID。我们为多个数据集提供了预先准备好的真实统计信息。例如：

    bash datasets/download_real_stat.sh edges2shoes-r B
bash datasets/download_real_stat.sh edges2shoes-r-unaligned subtrain_B

应用预训练模型

  • 下载预训练模型。

    python scripts/download_model.py --model gaugan --task cityscapes --stage full
python scripts/download_model.py --model gaugan --task cityscapes --stage compressed

  • 测试原始完整模型。

    bash scripts/munit/edges2shoes-r_fast/test_full.sh

  • 测试压缩模型。

    bash scripts/munit/edges2shoes-r_fast/test_compressed.sh

  • 测量两个模型的延迟。

    bash scripts/munit/edges2shoes-r_fast/latency_full.sh
bash scripts/munit/edges2shoes-r_fast/latency_compressed.sh

Cityscapes 数据集

由于许可问题，我们无法提供 Cityscapes 数据集。请从 https://cityscapes-dataset.com 下载该数据集，并使用脚本 prepare_cityscapes_dataset.py 进行预处理。您需要下载 gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip，并将它们解压到同一文件夹中。例如，您可以将 gtFine 和 leftImg8bit 放在 database/cityscapes-origin 中。您需要使用以下命令准备数据集：

python datasets/get_trainIds.py database/cityscapes-origin/gtFine/
python datasets/prepare_cityscapes_dataset.py \
--gtFine_dir database/cityscapes-origin/gtFine \
--leftImg8bit_dir database/cityscapes-origin/leftImg8bit \
--output_dir database/cityscapes \
--train_table_path datasets/train_table.txt \
--val_table_path datasets/val_table.txt

您将在 database/cityscapes 中得到一个预处理后的数据集，并在 dataset/table.txt 中获得一个用于计算 mIoU 的映射表。

为了支持 mIoU 的计算，您需要从 http://go.yf.io/drn-cityscapes-models 下载一个预训练的 DRN 模型 drn-d-105_ms_cityscapes.pth。默认情况下，我们将该 DRN 模型放在仓库的根目录下。下载完我们的模型后，您就可以在 Cityscapes 数据集上测试我们的压缩模型了。

COCO-Stuff 数据集

我们遵循与 NVlabs/spade 相同的 COCO-Stuff 数据集准备方法。具体来说，您需要从 nightrome/cocostuff 下载 train2017.zip、val2017.zip、stuffthingmaps_trainval2017.zip 和 annotations_trainval2017.zip。图像、标签和实例图应按照与 datasets/coco_stuff 相同的目录结构进行排列。特别地，我们使用了一个结合了“事物实例图”和“Stuff 标签图”边界的实例图。为此，我们使用了一个简单的脚本 datasets/coco_generate_instance_map.py。

为了支持 mIoU 的计算，您需要下载一个预训练的 DeeplabV2 模型 deeplabv2_resnet101_msc-cocostuff164k-100000.pth，并将其也放置在仓库的根目录下。

已发布模型的性能

下面我们展示了我们所有已发布模型的性能：

模型 数据集 方法 #参数 MACs 指标
FID mIoU
CycleGAN horse→zebra 原始 11.4M 56.8G 65.75 --
GAN压缩（论文） 0.342M 2.67G 65.33 --
GAN压缩（微调后） 0.357M 2.55G 65.12 --
快速GAN压缩 0.355M 2.64G 65.19 --
Pix2pix edges→shoes 原始 11.4M 56.8G 24.12 --
GAN压缩（论文） 0.700M 4.81G 26.60 --
GAN压缩（微调后） 0.822M 4.99G 26.70 --
快速GAN压缩 0.703M 4.83G 25.76 --
Cityscapes 原始 11.4M 56.8G -- 42.06
GAN压缩（论文） 0.707M 5.66G -- 40.77
GAN压缩（微调后） 0.781M 5.59G -- 38.63
快速GAN压缩 0.867M 5.61G -- 41.71
map→arial photo
 原始 11.4M 56.8G 47.91 --
GAN压缩 0.746M 4.68G 48.02 --
快速GAN压缩 0.708M 4.53G 48.67 --
GauGAN Cityscapes 原始 93.0M 281G 57.60 61.04
GAN压缩（论文） 20.4M 31.7G 55.19 61.22
GAN压缩（微调后） 21.0M 31.2G 56.43 60.29
快速GAN压缩 20.2M 31.3G 56.25 61.17
COCO-Stuff 原始 97.5M 191G 21.38 38.78
快速GAN压缩 26.0M 35.5G 25.06 35.05
MUNIT edges→shoes 原始 15.0M 77.3G 30.13 --
快速GAN压缩 1.10M 2.63G 30.53 --

训练

请参阅快速GAN压缩和GAN压缩的教程，了解如何在我们的数据集以及您自己的数据集上训练模型。

FID计算

要计算FID分数，您需要从数据集的真实图像中获取一些统计信息。我们提供了一个脚本get_real_stat.py，用于提取统计信息。例如，对于edges2shoes数据集，您可以运行以下命令：

python get_real_stat.py \
--dataroot database/edges2shoes-r \
--output_path real_stat/edges2shoes-r_B.npz \
--direction AtoB

对于成对的图像到图像翻译（pix2pix和GauGAN），我们计算生成的测试图像与真实测试图像之间的FID。对于非成对的图像到图像翻译（CycleGAN），我们计算生成的测试图像与真实训练+测试图像之间的FID。这样可以使用更多的图像来进行稳定的FID评估，正如以往无条件GAN研究中所做的那样。这两种协议之间的差异很小。我们压缩后的CycleGAN模型在使用真实测试图像而不是真实训练+测试图像时，FID值增加了4。

代码结构

为了帮助用户更好地理解和使用我们的代码，我们简要概述了每个包和每个模块的功能及实现。

引用

如果您在研究中使用了此代码，请引用我们的论文。

@inproceedings{li2020gan,
  title={GAN压缩：用于交互式条件GAN的高效架构},
  author={Li, Muyang and Lin, Ji and Ding, Yaoyao and Liu, Zhijian and Zhu, Jun-Yan and Han, Song},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集},
  year={2020}
}

致谢

我们的代码基于pytorch-CycleGAN-and-pix2pix、SPADE和MUNIT开发而成。

我们还要感谢pytorch-fid用于FID计算，drn用于Cityscapes mIoU计算，以及deeplabv2用于Coco-Stuff mIoU计算。

版本历史

v1.62021/05/13
v1.52020/12/16
v1.42020/08/14
v1.32020/07/21
v1.22020/07/10
v1.12020/06/13
v1.02020/06/08

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|昨天
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|2天前
开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 143.9k|★★☆☆☆|今天
开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 107.9k|★★☆☆☆|昨天
开发框架图像Agent

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。 在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。 这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|昨天
插件开发框架

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备

★ 90.1k|★★★☆☆|昨天
语言模型图像Agent