深度图像抠图

深度图像抠图 论文 的 PyTorch 实现。

差异

1. 去掉了 "fc6" 层。
2. 使用索引池化。

“fc6” 层参数量巨大，超过一亿，导致模型难以收敛。我推测这也是为什么原论文中的模型需要分阶段训练的原因。

性能

• 使用 Composition-1k 测试数据集。
• 对整张图像进行评估。
• SAD 值已除以 1000 进行归一化。
• 输入图像使用均值=[0.485, 0.456, 0.406] 和标准差=[0.229, 0.224, 0.225] 进行归一化。
• 同时使用腐蚀和膨胀操作生成 trimap。

模型	SAD	MSE	下载
论文-stage0	59.6	0.019
论文-stage1	54.6	0.017
论文-stage3	50.4	0.014
我的stage0	66.8	0.024	链接

依赖

• Python 3.5.2
• PyTorch 1.1.0

数据集

Adobe 深度图像抠图数据集

请按照 说明 联系作者获取数据集。

MSCOCO

前往 MSCOCO 下载：

• 2014 年训练图像

PASCAL VOC

前往 PASCAL VOC 下载：

• VOC 2008 挑战赛 训练/验证数据
• VOC 2008 挑战赛的测试数据

使用方法

数据预处理

提取训练图像：

$ python pre_process.py

训练

$ python train.py

如果希望在训练过程中可视化，可以在终端运行：

$ tensorboard --logdir runs

实验结果

Composition-1k 测试数据集

1. 测试：

$ python test.py

运行结束后会打印出平均 SAD 和 MSE 错误。

alphamatting.com 数据集

1. 下载评估数据集：前往 数据集页面 下载评估数据集，确保选择低分辨率版本。

2. 提取评估图像：

$ python extract.py

3. 评估：

$ python eval.py

点击查看完整图片：

图片	三图1	三图2	三图3

演示

下载预训练的深度图像抠图模型 链接，然后运行：

$ python demo.py

图像/Trimap	输出/GT	新背景/合成

小小的赞助~

若对您有帮助可给予小小的赞助~

Deep-Image-Matting-PyTorch 快速上手指南

Deep Image Matting 是一个基于 PyTorch 实现的深度图像抠图工具，用于从背景中精确分离前景对象并生成 Alpha 通道。本指南将帮助你快速搭建环境并运行演示。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 3.5.2 或更高版本（推荐 3.6+）
• 深度学习框架: PyTorch 1.1.0 或兼容版本
• 可视化工具 (可选): TensorBoard (用于训练过程监控)

依赖安装建议： 国内开发者建议使用清华源或阿里源加速 PyTorch 及相关依赖的安装。

# 示例：使用 pip 安装基础依赖（请根据实际 CUDA 版本选择对应的 PyTorch 安装命令）
pip install torch==1.1.0 torchvision==0.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

克隆项目代码并下载预训练模型即可开始使用，无需复杂的编译过程。

2.1 克隆仓库

git clone https://github.com/foamliu/Deep-Image-Matting-PyTorch.git
cd Deep-Image-Matting-PyTorch

2.2 下载预训练模型

为了直接体验效果，请下载作者提供的预训练权重文件 (BEST_checkpoint.tar)。

手动下载： 访问 发布页面 下载文件，并将其放置在项目根目录或代码指定的检查点路径下。

或使用命令行下载 (Linux/Mac):

wget https://github.com/foamliu/Deep-Image-Matting-PyTorch/releases/download/v1.0/BEST_checkpoint.tar

3. 基本使用

3.1 运行演示 (Demo)

下载好预训练模型后，运行 demo.py 即可对内置示例图片进行抠图处理，并生成合成结果。

python demo.py

运行结束后，程序将在输出目录生成以下结果：

• Alpha Matte: 生成的透明度通道。
• Composed Image: 将抠出的前景与新背景合成的图像。

3.2 训练自己的模型 (可选)

如果你需要使用自定义数据集进行训练，请先准备数据（如 Adobe Deep Image Matting Dataset, MSCOCO, PASCAL VOC），然后执行以下步骤：

1. 数据预处理:

   python pre_process.py
   

2. 开始训练:

   python train.py
   

3. 监控训练过程 (可选): 在新终端窗口运行以下命令查看 Loss 曲线：

   tensorboard --logdir runs
   

3.3 模型评估 (可选)

使用 Composition-1k 测试集评估模型性能：

python test.py

使用 alphamatting.com 数据集评估：

# 1. 提取评估图片
python extract.py
# 2. 执行评估
python eval.py