🦙 LaMa：基于傅里叶卷积（Fourier Convolutions）的分辨率鲁棒大遮罩修复

作者：Roman Suvorov, Elizaveta Logacheva, Anton Mashikhin, Anastasia Remizova, Arsenii Ashukha, Aleksei Silvestrov, Naejin Kong, Harshith Goka, Kiwoong Park, Victor Lempitsky.

🔥🔥🔥
LaMa 能出人意料地良好泛化到远高于训练分辨率（256x256）的场景（~2k❗️），即使在复杂场景（如周期性结构修复）中也表现出色。

[项目主页] [论文] [补充材料] [BibTeX] [Casual GAN Papers 摘要]

在 Google Colab 中体验
所有 Yandex 分发链接已失效，可从 https://drive.google.com/drive/folders/1B2x7eQDgecTL0oh3LSIBDGj0fTxs6Ips?usp=sharing 下载模型

LaMa 开发进展

(欢迎通过创建 issue 分享您的论文)

• https://github.com/geekyutao/Inpaint-Anything --- Inpaint Anything：Segment Anything 与图像修复的结合

• 提升高分辨率图像修复的特征优化方法 / 视频 / 代码 https://github.com/advimman/lama/pull/112 / 作者 Geomagical Labs (geomagical.com)

非官方第三方应用：

(欢迎通过创建 issue 分享您的应用/实现/演示)

• https://github.com/enesmsahin/simple-lama-inpainting - LaMa 修复的简易 pip 包
• https://github.com/mallman/CoreMLaMa - 苹果 Core ML 模型格式（Core ML model format）
• https://cleanup.pictures - @cyrildiagne 开发的简易交互式物体移除工具
  • lama-cleaner 由 @Sanster 开发，是 https://cleanup.pictures 的自托管版本
• 集成至 Huggingface Spaces 平台，基于 Gradio。查看演示： 作者 @AK391
• Telegram 机器人 @MagicEraserBot 作者 @Moldoteck，代码
• Auto-LaMa = DE:TR 物体检测 + LaMa 修复 作者 @andy971022
• LAMA-Magic-Eraser-Local = 基于 PyQt5 构建的独立修复应用 作者 @zhaoyun0071
• Hama - 采用智能画笔简化遮罩绘制的物体移除工具
• ModelScope = 中文最大模型社区 作者 @chenbinghui1
• LaMa with MaskDINO = MaskDINO 物体检测 + 带优化的 LaMa 修复 作者 @qwopqwop200
• CoreMLaMa - 将 Lama Cleaner 移植的 LaMa 转换为苹果 Core ML 模型格式的脚本

环境配置

❗️❗️❗️ 所有 Yandex 分发链接已失效，可从 Google Drive 下载模型 ❗️❗️❗️

克隆仓库： git clone https://github.com/advimman/lama.git

提供三种环境配置选项：

1. Python 虚拟环境（virtualenv）:

   virtualenv inpenv --python=/usr/bin/python3
   source inpenv/bin/activate
   pip install torch==1.8.0 torchvision==0.9.0
   
   cd lama
   pip install -r requirements.txt 
   

2. Conda

   % 安装适用于 Linux 的 conda，其他操作系统请从 https://docs.conda.io/en/latest/miniconda.html 下载 miniconda
   wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
   bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda
   $HOME/miniconda/bin/conda init bash
   
   cd lama
   conda env create -f conda_env.yml
   conda activate lama
   conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch -y
   pip install pytorch-lightning==1.2.9
   

3. Docker：无需额外操作 🎉.

推理

运行

cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

1. 下载预训练模型（pre-trained models）

最佳模型（Places数据集和Places Challenge数据集）：

curl -LJO https://huggingface.co/smartywu/big-lama/resolve/main/big-lama.zip
unzip big-lama.zip

所有模型（Places数据集和CelebA-HQ数据集）：

download [https://drive.google.com/drive/folders/1B2x7eQDgecTL0oh3LSIBDGj0fTxs6Ips?usp=drive_link]
unzip lama-models.zip

2. 准备图像和掩码（masks）

下载测试图像：

unzip LaMa_test_images.zip

或者准备您的数据：

1) 创建掩码文件，命名格式为`[图像名称]_maskXXX[图像后缀]`，将图像和掩码文件放在同一文件夹中。

• 可使用脚本生成随机掩码。
• 检查文件格式：

  image1_mask001.png
  image1.png
  image2_mask001.png
  image2.png
  

2. 在configs/prediction/default.yaml中指定image_suffix，例如.png或.jpg或_input.jpg。

3. 预测（Predict）

在主机上运行：

python3 bin/predict.py model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output

或者 在Docker中运行

以下命令将从Docker Hub拉取镜像并执行预测脚本

bash docker/2_predict.sh $(pwd)/big-lama $(pwd)/LaMa_test_images $(pwd)/output device=cpu

Docker CUDA版本：

bash docker/2_predict_with_gpu.sh $(pwd)/big-lama $(pwd)/LaMa_test_images $(pwd)/output

4. 带优化的预测（Predict with Refinement）

在主机上运行：

python3 bin/predict.py refine=True model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output

训练与评估（Train and Eval）

确保已执行：

cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

然后下载用于_感知损失（perceptual loss）_的模型：

mkdir -p ade20k/ade20k-resnet50dilated-ppm_deepsup/
wget -P ade20k/ade20k-resnet50dilated-ppm_deepsup/ http://sceneparsing.csail.mit.edu/model/pytorch/ade20k-resnet50dilated-ppm_deepsup/encoder_epoch_20.pth

Places数据集

⚠️ 注意：我们在LaMa论文中看到的Places数据集FID（Fréchet Inception Distance）/SSIM（结构相似性，Structural Similarity）/LPIPS（学习型感知图像块相似度，Learned Perceptual Image Patch Similarity）指标值，是基于评估部分生成的30000张图像计算得出。 有关评估数据的更多细节，请查阅[附录第3节：数据集划分] ⚠️

在主机上运行：

# 从 http://places2.csail.mit.edu/download.html 下载数据
# Places365-Standard：从高分辨率图像部分下载训练集(105GB)/测试集(19GB)/验证集(2.1GB)
wget http://data.csail.mit.edu/places/places365/train_large_places365standard.tar
wget http://data.csail.mit.edu/places/places365/val_large.tar
wget http://data.csail.mit.edu/places/places365/test_large.tar

# 解压训练/测试/验证数据并创建.yaml配置文件
bash fetch_data/places_standard_train_prepare.sh
bash fetch_data/places_standard_test_val_prepare.sh

# 为测试和每轮次（epoch）结束时的可视化采样图像
bash fetch_data/places_standard_test_val_sample.sh
bash fetch_data/places_standard_test_val_gen_masks.sh

# 启动训练
python3 bin/train.py -cn lama-fourier location=places_standard

# 为评估训练模型并报告论文中的指标
# 需要采样30000张未见过的图像并生成掩码
bash fetch_data/places_standard_evaluation_prepare_data.sh

# 在256和512分辨率的厚/薄/中等掩码上进行推理并运行评估 
# 示例：
python3 bin/predict.py \
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier_/ \
indir=$(pwd)/places_standard_dataset/evaluation/random_thick_512/ \
outdir=$(pwd)/inference/random_thick_512 model.checkpoint=last.ckpt

python3 bin/evaluate_predicts.py \
$(pwd)/configs/eval2_gpu.yaml \
$(pwd)/places_standard_dataset/evaluation/random_thick_512/ \
$(pwd)/inference/random_thick_512 \
$(pwd)/inference/random_thick_512_metrics.csv

Docker：待补充

CelebA数据集

在主机上运行：

# 确保在lama目录下
cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

# 下载CelebA-HQ数据集
# 从 https://drive.google.com/drive/folders/11Vz0fqHS2rXDb5pprgTjpD7S2BAJhi1P 下载data256x256.zip

# 解压并拆分为训练/测试/可视化数据集，创建配置文件
bash fetch_data/celebahq_dataset_prepare.sh

# 为测试和可视化测试生成掩码
bash fetch_data/celebahq_gen_masks.sh

# 启动训练
python3 bin/train.py -cn lama-fourier-celeba data.batch_size=10

# 在256分辨率的厚/薄/中等掩码上进行推理并运行评估 
# 示例：
python3 bin/predict.py \
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier-celeba_/ \
indir=$(pwd)/celeba-hq-dataset/visual_test_256/random_thick_256/ \
outdir=$(pwd)/inference/celeba_random_thick_256 model.checkpoint=last.ckpt

Docker：待补充

Places Challenge数据集

在主机上运行：

# 该脚本并行下载多个.tar文件并解压
# Places365-Challenge：从高分辨率图像下载训练集(476GB)（用于训练Big-Lama）
bash places_challenge_train_download.sh

待补充：数据准备
待补充：训练 
待补充：评估
  

Docker：待补充

创建你的数据

如果在以下步骤中遇到问题，请查看 CelebaHQ（名人面部高清数据集）部分的 bash 脚本，用于数据准备和掩码（mask）生成。

在主机上：

# Make shure you are in lama folder
cd lama
export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)

# You need to prepare following image folders:
$ ls my_dataset
train
val_source # 2000 or more images
visual_test_source # 100 or more images
eval_source # 2000 or more images

# LaMa generates random masks for the train data on the flight,
# but needs fixed masks for test and visual_test for consistency of evaluation.

# Suppose, we want to evaluate and pick best models 
# on 512x512 val dataset  with thick/thin/medium masks 
# And your images have .jpg extention:

python3 bin/gen_mask_dataset.py \
$(pwd)/configs/data_gen/random_<size>_512.yaml \ # thick, thin, medium
my_dataset/val_source/ \
my_dataset/val/random_<size>_512.yaml \# thick, thin, medium
--ext jpg

# So the mask generator will: 
# 1. resize and crop val images and save them as .png
# 2. generate masks

ls my_dataset/val/random_medium_512/
image1_crop000_mask000.png
image1_crop000.png
image2_crop000_mask000.png
image2_crop000.png
...

# Generate thick, thin, medium masks for visual_test folder:

python3 bin/gen_mask_dataset.py \
$(pwd)/configs/data_gen/random_<size>_512.yaml \  #thick, thin, medium
my_dataset/visual_test_source/ \
my_dataset/visual_test/random_<size>_512/ \ #thick, thin, medium
--ext jpg


ls my_dataset/visual_test/random_thick_512/
image1_crop000_mask000.png
image1_crop000.png
image2_crop000_mask000.png
image2_crop000.png
...

# Same process for eval_source image folder:

python3 bin/gen_mask_dataset.py \
$(pwd)/configs/data_gen/random_<size>_512.yaml \  #thick, thin, medium
my_dataset/eval_source/ \
my_dataset/eval/random_<size>_512/ \ #thick, thin, medium
--ext jpg



# Generate location config file which locate these folders:

touch my_dataset.yaml
echo "data_root_dir: $(pwd)/my_dataset/" >> my_dataset.yaml
echo "out_root_dir: $(pwd)/experiments/" >> my_dataset.yaml
echo "tb_dir: $(pwd)/tb_logs/" >> my_dataset.yaml
mv my_dataset.yaml ${PWD}/configs/training/location/


# Check data config for consistency with my_dataset folder structure:
$ cat ${PWD}/configs/training/data/abl-04-256-mh-dist
...
train:
  indir: ${location.data_root_dir}/train
  ...
val:
  indir: ${location.data_root_dir}/val
  img_suffix: .png
visual_test:
  indir: ${location.data_root_dir}/visual_test
  img_suffix: .png


# Run training
python3 bin/train.py -cn lama-fourier location=my_dataset data.batch_size=10

# Evaluation: LaMa training procedure picks best few models according to 
# scores on my_dataset/val/ 

# To evaluate one of your best models (i.e. at epoch=32) 
# on previously unseen my_dataset/eval do the following 
# for thin, thick and medium:

# infer:
python3 bin/predict.py \
model.path=$(pwd)/experiments/<user>_<date:time>_lama-fourier_/ \
indir=$(pwd)/my_dataset/eval/random_<size>_512/ \
outdir=$(pwd)/inference/my_dataset/random_<size>_512 \
model.checkpoint=epoch32.ckpt

# metrics calculation:
python3 bin/evaluate_predicts.py \
$(pwd)/configs/eval2_gpu.yaml \
$(pwd)/my_dataset/eval/random_<size>_512/ \
$(pwd)/inference/my_dataset/random_<size>_512 \
$(pwd)/inference/my_dataset/random_<size>_512_metrics.csv

或者 在 Docker 中：

TODO: train
TODO: eval

提示

生成不同类型的掩码（mask）

以下命令将执行一个生成随机掩码（mask）的脚本。

bash docker/1_generate_masks_from_raw_images.sh \
    configs/data_gen/random_medium_512.yaml \
    /directory_with_input_images \
    /directory_where_to_store_images_and_masks \
    --ext png

测试数据生成命令以适合 预测 的格式存储图像。

下表描述了我们用于从论文中生成不同测试集的配置。请注意，我们不固定随机种子，因此每次结果会略有不同。

	Places 512x512	CelebA 256x256
窄掩码	random_thin_512.yaml	random_thin_256.yaml
中掩码	random_medium_512.yaml	random_medium_256.yaml
宽掩码	random_thick_512.yaml	random_thick_256.yaml

你可以随意将配置路径（参数 #1）更改为 configs/data_gen 中的任何其他配置，或调整配置文件本身。

覆盖配置中的参数

你也可以像这样覆盖配置中的参数：

python3 bin/train.py -cn <config> data.batch_size=10 run_title=my-title

其中 .yaml 文件扩展名被省略。

模型选项

论文中模型的配置名称（替换到训练命令中）：

* big-lama
* big-lama-regular
* lama-fourier
* lama-regular
* lama_small_train_masks

这些配置位于 configs/training/ 文件夹中。

链接

• 所有数据（模型、测试图像等） https://disk.yandex.ru/d/AmdeG-bIjmvSug
• 论文中的测试图像 https://disk.yandex.ru/d/xKQJZeVRk5vLlQ
• 预训练模型 https://disk.yandex.ru/d/EgqaSnLohjuzAg
• 用于感知损失的模型 https://disk.yandex.ru/d/ncVmQlmT_kTemQ
• 我们的训练日志可在 https://disk.yandex.ru/d/9Bt1wNSDS4jDkQ 获取

训练时间与资源

TODO

致谢

• 分割代码和模型来自 CSAILVision。
• LPIPS 指标来自 richzhang
• SSIM 来自 Po-Hsun-Su
• FID 来自 mseitzer

引用

如果本代码对你有所帮助，请考虑引用：

@article{suvorov2021resolution,
  title={Resolution-robust Large Mask Inpainting with Fourier Convolutions},
  author={Suvorov, Roman and Logacheva, Elizaveta and Mashikhin, Anton and Remizova, Anastasia and Ashukha, Arsenii and Silvestrov, Aleksei and Kong, Naejin and Goka, Harshith and Park, Kiwoong and Lempitsky, Victor},
  journal={arXiv preprint arXiv:2109.07161},
  year={2021}
}

LaMa 快速上手指南

环境准备

• 系统要求：Linux 或 macOS（Windows 未官方支持）
• 前置依赖：
  • Python 3.6+
  • pip
  • Git
  • （推荐）科学上网工具（用于下载模型资源）
• 注意：模型文件较大（约 1.5GB），建议预留 2GB 以上磁盘空间

安装步骤

1. 克隆仓库（使用清华镜像加速）：

   git clone https://github.com/advimman/lama.git
   cd lama
   

2. 创建虚拟环境并安装依赖（推荐清华源加速）：

   virtualenv inpenv --python=python3
   source inpenv/bin/activate
   pip install torch==1.8.0 torchvision==0.9.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install -r requirements.txt
   

基本使用

1. 下载预训练模型（推荐 Hugging Face 链接，国内访问更稳定）：

   curl -LJO https://huggingface.co/smartywu/big-lama/resolve/main/big-lama.zip
   unzip big-lama.zip
   

2. 准备测试图像：

   • 下载示例图像（可选）：

     wget https://github.com/advimman/lama/releases/download/v1.0/LaMa_test_images.zip
     unzip LaMa_test_images.zip
     

   • 或使用自定义图像：将图像和掩码放在同一目录，掩码命名格式为 [image_name]_mask001.png

3. 运行图像修复：

   export TORCH_HOME=$(pwd) && export PYTHONPATH=$(pwd)
   python3 bin/predict.py model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output
   

   • 修复结果将保存在 output 目录
   • 支持高达 2K 分辨率图像处理（无需额外配置）

提示：若需更高精度修复，添加 refine=True 参数：

python3 bin/predict.py refine=True model.path=$(pwd)/big-lama indir=$(pwd)/LaMa_test_images outdir=$(pwd)/output