LIIF

此仓库包含在以下论文中介绍的 LIIF 的官方实现：

使用局部隐式图像函数学习连续图像表示
Yinbo Chen、Sifei Liu、Xiaolong Wang
CVPR 2021（口头报告）

项目主页及视频地址为：https://yinboc.github.io/liif/。

引用

如果您在研究中使用了我们的工作，请引用：

@inproceedings{chen2021learning,
  title={Learning continuous image representation with local implicit image function},
  author={Chen, Yinbo and Liu, Sifei and Wang, Xiaolong},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8628--8638},
  year={2021}
}

环境

• Python 3
• PyTorch 1.6.0
• TensorBoardX
• yaml、numpy、tqdm、imageio

快速入门

1. 下载一个 DIV2K 预训练模型。

模型	文件大小	下载
EDSR-baseline-LIIF	18M	Dropbox | Google Drive
RDN-LIIF	256M	Dropbox | Google Drive

2. 将您的图像转换为 LIIF 格式，并以指定分辨率呈现（使用 GPU 0，[MODEL_PATH] 表示 .pth 文件）：

python demo.py --input xxx.png --model [MODEL_PATH] --resolution [HEIGHT],[WIDTH] --output output.png --gpu 0

实验复现

数据

创建 load 目录用于存放数据集文件夹。

• DIV2K：进入 load/div2k 目录并解压。从 DIV2K 官网 下载 HR 图像和双三次插值生成的验证集 LR 图像（例如 Train_HR、Valid_HR、Valid_LR_X2、Valid_LR_X3、Valid_LR_X4）。解压这些文件以获取图像文件夹。

• 基准数据集：进入 load/ 目录。下载并解压 benchmark datasets（由 此仓库 提供），得到一个包含子文件夹 Set5/、Set14/、B100/、Urban100/ 的 load/benchmark 文件夹。

• celebAHQ：创建 load/celebAHQ 目录，并将 scripts/resize.py 复制到该目录下，然后进入 load/celebAHQ。从 Google Drive 链接 下载并解压 data1024x1024.zip（由 此仓库 提供）。运行 python resize.py，即可得到 256/、128/、64/、32/ 等图像文件夹。同时下载 split.json。

运行代码

0. 准备工作

• 对于 train_liif.py 或 test.py，可使用 --gpu [GPU] 指定使用的 GPU（例如 --gpu 0 或 --gpu 0,1）。

• 对于 train_liif.py，默认保存路径为 save/_[CONFIG_NAME]。如果需要，可通过 --name 参数指定自定义名称。

• 在配置文件中设置数据集参数时，cache: in_memory 表示将数据预加载到内存中（可能需要较大内存，例如 DIV2K 约需 40GB）；cache: bin 表示首次创建二进制文件（存储在同级文件夹中）；cache: none 表示直接加载。在运行训练脚本之前，可根据硬件资源调整这些设置。

1. DIV2K 实验

训练：python train_liif.py --config configs/train-div2k/train_edsr-baseline-liif.yaml（使用 EDSR-baseline 主干网络；若使用 RDN，则将 edsr-baseline 替换为 rdn）。我们使用 1 个 GPU 训练 EDSR-baseline-LIIF，而 RDN-LIIF 则使用 4 个 GPU。

测试：对于 DIV2K 验证集，运行 bash scripts/test-div2k.sh [MODEL_PATH] [GPU]；对于基准数据集，运行 bash scripts/test-benchmark.sh [MODEL_PATH] [GPU]。其中 [MODEL_PATH] 是 .pth 文件的路径，我们使用对应保存文件夹中的 epoch-last.pth。

2. celebAHQ 实验

训练：python train_liif.py --config configs/train-celebAHQ/[CONFIG_NAME].yaml。

测试：python test.py --config configs/test/test-celebAHQ-32-256.yaml --model [MODEL_PATH]（或针对另一项任务使用 test-celebAHQ-64-128.yaml）。我们使用对应保存文件夹中的 epoch-best.pth。

LIIF 快速上手指南

LIIF (Local Implicit Image Function) 是一个基于局部隐式图像函数的连续图像表示学习项目，支持任意分辨率的图像超分辨率重建。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 3.x
• 深度学习框架: PyTorch 1.6.0
• 其他依赖: TensorboardX, yaml, numpy, tqdm, imageio

建议创建独立的虚拟环境以避免依赖冲突。

安装步骤

1. 克隆仓库

   git clone https://github.com/yinboc/liif.git
   cd liif
   

2. 安装依赖 请确保已安装 PyTorch 1.6.0（可根据您的 CUDA 版本选择对应的安装命令，国内用户可使用清华或阿里镜像加速）：

   示例（使用 pip 安装其他依赖）：

   pip install tensorboardx pyyaml numpy tqdm imageio
   

   (注：若未安装 PyTorch，请访问 pytorch.org 或使用 pip install torch==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 进行安装)

基本使用

以下是使用预训练模型将低分辨率图像转换为任意指定分辨率的最简流程。

1. 下载预训练模型

您可以从以下链接下载在 DIV2K 数据集上预训练的模型（推荐国内网络不佳时使用 Google Drive 或尝试其他加速手段）：

模型名称	文件大小	下载链接
EDSR-baseline-LIIF	18M	Dropbox | Google Drive
RDN-LIIF	256M	Dropbox | Google Drive

下载后，假设文件保存为 edsr-baseline-liif.pth。

2. 运行推理

使用 demo.py 脚本对图片进行超分处理。以下命令将输入图片 xxx.png 放大至指定分辨率（例如 512x512），并输出为 output.png。

python demo.py --input xxx.png --model edsr-baseline-liif.pth --resolution 512,512 --output output.png --gpu 0

参数说明：

• --input: 输入的低分辨率图片路径。
• --model: 下载的 .pth 预训练模型路径。
• --resolution: 目标输出的高度和宽度（格式：HEIGHT,WIDTH），LIIF 支持任意整数分辨率。
• --output: 输出图片的保存路径。
• --gpu: 指定使用的 GPU 编号（如 0）。若无 GPU 可移除该参数或修改代码适配 CPU。