实时高分辨率背景抠图

这是论文《实时高分辨率背景抠图》（arXiv:2012.07810）的官方仓库。我们的模型需要捕获一张额外的背景图像，并在Nvidia RTX 2080 TI GPU上以4K 30fps和HD 60fps的速度产生当前最先进的抠图效果。

• 访问项目网站
• 观看项目视频

免责声明：此仓库中的视频转换脚本并非用于实时处理。我们研究的主要贡献在于用于高分辨率细化的神经网络架构以及新的抠图数据集。inference_speed_test.py脚本可用于测量我们模型的张量吞吐量，理论上应能达到实时性能。而inference_video.py脚本则允许您使用我们的模型处理视频，但其视频编解码过程并未采用硬件加速或并行化技术。在实际生产环境中，您需要进行额外的工程开发，以实现硬件编解码及并行将帧加载到GPU的功能。更多架构细节请参阅我们的论文。

 

新论文已发布！

请查看鲁棒视频抠图！我们的新方法无需预先捕获背景，且推理速度更快！

 

概览

• 更新
• 下载
  • 模型/权重
  • 视频/图像示例
  • 数据集
• 演示
  • 脚本
  • 笔记本
• 使用说明/文档
• 训练
• 项目成员
• 许可证

 

更新

• [2021年6月21日] 论文荣获CVPR 2021最佳学生论文荣誉提名。
• [2021年4月21日] VideoMatte240K数据集现已发布。
• [2021年3月6日] 训练脚本已发布。
• [2021年2月28日] 论文已被CVPR 2021接收。
• [2021年1月9日] PhotoMatte85数据集现已发布。
• [2020年12月21日] 我们将项目许可协议更新为MIT许可证，允许商业使用。

 

下载

模型/权重

• 下载模型/权重（GitHub）
• 下载模型/权重（GDrive）

视频/图像示例

• 高清视频（由Sengupta等人提供）（我们的模型在处理高清素材时表现更为稳健）
• 4K视频和图片

数据集

• 下载数据集

 

演示

脚本

我们在该仓库中提供了几款脚本，供您试验我们的模型。详细说明包含在文件中。

• inference_images.py: 对指定目录下的多张图片进行抠图。
• inference_video.py: 对一段视频进行抠图。
• inference_webcam.py: 使用您的网络摄像头进行交互式抠图演示。

笔记本

此外，您还可以在Google Colab中尝试我们的笔记本，对图片和视频进行抠图。

• 图片抠图（Colab）
• 视频抠图（Colab）

虚拟摄像头

我们提供了一个演示应用，可将网络摄像头视频通过我们的模型处理后输出到虚拟摄像头。该脚本仅适用于Linux系统，可用于Zoom会议等场景。更多信息请参阅：

• 网络摄像头插件

 

使用说明/文档

您可以使用PyTorch、TorchScript、TensorFlow和ONNX运行我们的模型。有关如何使用本模型的详细信息，请参阅使用说明/文档页面。

 

训练

请将data_path.pth配置为指向您的数据集。原始论文中使用train_base.pth先训练基础模型直至收敛，然后再使用train_refine.pth对整个网络进行端到端训练。更多细节请参阅论文。

 

项目成员

• Shanchuan Lin*，华盛顿大学
• Andrey Ryabtsev*，华盛顿大学
• Soumyadip Sengupta，华盛顿大学
• Brian Curless，华盛顿大学
• Steve Seitz，华盛顿大学
• Ira Kemelmacher-Shlizerman，华盛顿大学

^{* 共同贡献。}

 

许可证

本作品采用MIT许可证授权。如果您在自己的项目中使用了我们的工作，我们非常希望您能予以致谢，并填写我们的调查问卷。

社区项目

由第三方开发者开发的项目。

• After Effects插件

BackgroundMattingV2 快速上手指南

BackgroundMattingV2 是一个实时高分辨率背景抠图（Background Matting）工具。该模型需要一张预先拍摄的背景图，在 Nvidia RTX 2080 Ti GPU 上可实现 4K 30fps 或 HD 60fps 的实时处理速度。

环境准备

系统要求

• 操作系统: Linux (推荐), Windows, macOS
• GPU: 支持 CUDA 的 Nvidia 显卡 (如 RTX 2080 Ti 及以上以获得最佳性能)
• Python: 3.7+

前置依赖

请确保已安装以下核心库：

• PyTorch (建议版本 1.7+)
• torchvision
• Pillow
• opencv-python
• numpy

国内加速建议：安装 PyTorch 时推荐使用清华或中科大镜像源。

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/PeterL1n/BackgroundMattingV2.git
   cd BackgroundMattingV2
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   

   若下载缓慢，可指定国内源：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载模型权重 从 GitHub Release 或 Google Drive 下载预训练模型文件 (mobilenetv2.pth 或 resnet50.pth)，并将其放入项目根目录或指定文件夹。

   • GitHub 下载链接
   • Google Drive 下载链接

基本使用

以下是三种最常用的脚本示例，请确保已准备好前景视频/图片和对应的纯背景图片。

1. 图片抠图

对目录下的图片进行批量处理。

python inference_images.py \
  --model-type mobilenetv2 \
  --checkpoint checkpoint/mobilenetv2.pth \
  --images-dir input_images \
  --background-dir background_images \
  --output-dir output_images

2. 视频抠图

处理单个视频文件（注意：默认脚本未开启硬件编解码加速，主要用于测试模型效果）。

python inference_video.py \
  --model-type mobilenetv2 \
  --checkpoint checkpoint/mobilenetv2.pth \
  --video-path input_video.mp4 \
  --background-path background.jpg \
  --output-path output_video.mp4

3. 摄像头实时演示

调用 webcam 进行实时交互式抠图（需配合虚拟摄像头插件可在 Zoom 等会议软件中使用）。

python inference_webcam.py \
  --model-type mobilenetv2 \
  --checkpoint checkpoint/mobilenetv2.pth \
  --background-path background.jpg

参数说明：

• --model-type: 模型架构，可选 mobilenetv2 (轻量快速) 或 resnet50 (精度更高)。
• --checkpoint: 预训练权重文件路径。
• --background-path: 必须提供一张与前景拍摄角度、光照一致的纯背景图。