通过超分辨率实现无损图像压缩

曹晟， 吴超元， 菲利普·克雷亨布尔。

[论文]

引用

@article{cao2020lossless,
  title={Lossless Image Compression through Super-Resolution},
  author={Cao, Sheng and Wu, Chao-Yuan and and Kr{\"a}henb{\"u}hl, Philipp},
  year={2020},
  journal={arXiv preprint arXiv:2004.02872},
}

如果您使用我们的代码库，请考虑同时引用 L3C。

概述

这是 SReC 在 PyTorch 中的官方实现。 SReC 将无损压缩问题建模为超分辨率任务，并利用神经网络对图像进行压缩。 SReC 能够在大型数据集上实现最先进的压缩率，同时保持实际运行时间。 训练、压缩和解压缩功能均已完整支持，并已开源。

入门指南

我们建议按照以下步骤开始使用。

1. 安装必要的依赖项
2. 下载 Open Images 验证集
3. 在 Open Images 验证集上运行压缩 并使用 预训练模型权重

安装

请参阅 此处 获取安装说明。

模型权重

我们发布了针对 ImageNet64 和 Open Images (PNG) 的预训练模型。 所有压缩结果均以每子像素位数 (bpsp) 表示。

数据集	Bpsp	模型权重
ImageNet64	4.29	models/imagenet64.pth
Open Images	2.70	models/openimages.pth

训练

要运行代码，您需要位于项目根目录下。

python3 -um src.train \
  --train-path "训练图像所在目录路径" \
  --train-file "训练图像文件名列表，每行一个文件名" \
  --eval-path "评估图像所在目录路径" \
  --eval-file "评估图像文件名列表，每行一个文件名" \
  --plot "存储模型输出的目录" \
  --batch "批大小"

训练图像必须按照 train-path/filename 的格式组织，其中 filename 来自 train-file。评估图像也需遵循相同规则。

我们在 datasets 目录中包含了用于 ImageNet64 和 Open Images (PNG) 的训练及评估文件。

对于 ImageNet64，我们使用与 Open Images 默认设置略有不同的超参数。若要基于论文中的设置训练 ImageNet64，请运行：

python3 -um src.train \
  --train-path "训练图像所在目录路径" \
  --train-file "训练图像文件名列表，每行一个文件名" \
  --eval-path "评估图像所在目录路径" \
  --eval-file "评估图像文件名列表，每行一个文件名" \
  --plot "存储模型输出的目录" \
  --batch "批大小" \
  --epochs 10 \
  --lr-epochs 1 \
  --crop 64

运行 python3 -um src.train --help 可查看所有可调超参数列表。

评估

给定一个模型检查点，此命令将根据对数似然计算理论上的每子像素位数 (bpsp)。该对数似然 bpsp 是实际压缩 bpsp 的下界。

python3 -um src.eval \
  --path "图像所在目录路径" \
  --file "图像文件名列表，每行一个文件名" \
  --load "模型权重路径"

压缩/解压缩

在安装 torchac 的前提下，您可以运行压缩/解压缩操作，将任意图像转换为 .srec 文件。 以下命令会压缩一个图像目录：

python3 -um src.encode \
  --path "图像所在目录路径" \ 
  --file "图像文件名列表，每行一个文件名" \
  --save-path "保存新 .srec 文件的目录" \
  --load "模型权重路径"

若需准确测量运行时间，建议使用 -O 标志运行 Python 以禁用断言。

我们还提供了一个可选的 --decode 标志，可用于验证解压缩后的 .srec 文件是否能还原原始图像，并获取解码所需的时间。

要将 .srec 文件转换为 PNG，可以运行：

python3 -um src.decode \
  --path "包含 .srec 图像的目录路径" \ 
  --file "包含 .srec 图像文件名列表，每行一个文件名" \
  --save-path "保存 PNG 文件的目录" \
  --load "模型权重路径"

下载 ImageNet64

您可以从 这里 下载 ImageNet64 的训练和验证数据集。

准备 Open Images 数据集 (PNG)

我们使用的 Open Images 训练和验证图像与 L3C 相同。

对于 验证图像，您可以在此处下载。

对于 训练图像，请克隆 L3C 仓库并运行此处的脚本。

有关 Open Images JPEG 与 Open Images PNG 之间区别的更多信息，请参阅 此议题。

致谢

感谢 L3C 提供的 EDSR、逻辑混合分布以及算术编码的实现。 特别感谢 法比安·门策尔 指出并迅速解决了 Open Images JPEG 预处理脚本中存在的问题。

SReC 快速上手指南

SReC (Super-Resolution Compression) 是一个基于超分辨率技术的无损图像压缩工具。它将无损压缩建模为超分辨率问题，利用神经网络在大型数据集上实现领先的压缩率。

环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python: Python 3.6+
• 核心框架: PyTorch
• 关键依赖: torchac (用于算术编码)
• 其他依赖: 详见项目根目录下的 INSTALL.md 文件。

提示: 建议先阅读官方 INSTALL.md 获取完整的依赖列表。国内用户可使用清华或阿里镜像源加速 pip 和 conda 包的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/caoscott/SReC.git
   cd SReC
   

2. 安装依赖 请参照 INSTALL.md 安装基础环境。确保已安装 torchac：

   pip install torchac
   # 如有需要，可指定国内源
   # pip install torchac -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型 根据需求下载对应的模型权重（bits per subpixel, bpsp 越低越好）：

   数据集	压缩率 (bpsp)	下载命令
   ImageNet64	4.29	wget https://raw.githubusercontent.com/caoscott/SReC/main/models/imagenet64.pth -P models/
   Open Images	2.70	wget https://raw.githubusercontent.com/caoscott/SReC/main/models/openimages.pth -P models/

   (注：如果上述链接失效，请访问项目 GitHub Releases 或原论文页面获取 models/*.pth 文件)

4. 准备测试数据 (可选) 下载 Open Images 验证集进行快速测试：

   wget http://data.vision.ee.ethz.ch/mentzerf/validation_sets_lossless/val_oi_500_r.tar.gz
   tar -xzf val_oi_500_r.tar.gz
   

基本使用

以下示例展示如何使用预训练模型对图像进行压缩和解压。假设你已下载 openimages.pth 模型并准备好了图像目录。

1. 图像压缩 (Encode)

将目录中的 PNG 图像压缩为 .srec 格式。

python3 -um src.encode \
  --path "path/to/image/directory" \
  --file "list_of_filenames.txt" \
  --save-path "path/to/save/srec/files" \
  --load "models/openimages.pth"

• --path: 原始图像所在目录。
• --file: 包含待处理文件名的文本文件（每行一个文件名）。若处理目录下所有文件，可自行创建该列表或使用脚本生成。
• --save-path: 压缩后 .srec 文件的保存目录。
• --load: 预训练模型路径。

性能提示: 如需测试真实运行时间，建议添加 -O 标志禁用断言检查： python3 -O -um src.encode ...

2. 图像解压 (Decode)

将 .srec 文件还原为 PNG 图像，并可验证是否与原件一致。

python3 -um src.decode \
  --path "path/to/srec/directory" \
  --file "list_of_srec_filenames.txt" \
  --save-path "path/to/save/png/files" \
  --load "models/openimages.pth"

• --path: .srec 文件所在目录。
• --save-path: 解压后 PNG 图像的保存目录。

3. 模型评估 (Evaluation)

如果你只想评估模型在理论上的压缩率（基于对数似然计算 bpsp），而不生成文件：

python3 -um src.eval \
  --path "path/to/image/directory" \
  --file "list_of_filenames.txt" \
  --load "models/openimages.pth"