BackScrub

（或曾用名 DeepBackSub 项目）

基于深度语义分割的背景替换虚拟视频设备

（精美背景图片鸣谢 Mary Sabell 和 PhotoFunia）

维护者

• Phil Ashby (@phlash)
• Benny Baumann (@BenBE)
• Florian Echtler (@floe)

许可证

backscrub 采用 Apache License 2.0 许可证。详情请参阅 LICENSE 文件。

构建

安装依赖项（sudo apt install libopencv-dev build-essential v4l2loopback-dkms curl）。

使用 git clone --recursive https://github.com/floe/backscrub.git 克隆本仓库。为加快检出速度，可在 git clone 中额外添加 --depth=1 参数。若仅需下载并编译代码，此方法尚可；但若用于开发，则不建议采用。

使用 cmake 构建项目：创建一个子文件夹（如 build），进入该文件夹并运行：cmake .. && make -j $(nproc || echo 4)。

已弃用：另一种构建方式是在仓库根目录下直接运行 make。虽然这会下载并编译所有依赖项，但也存在一些缺点，例如缺少对 XNNPACK 的支持。此外，随着 Tensorflow Lite 新版本的发布，上游已不再支持此方法，因此可能会出现兼容性问题。请自行承担风险。

使用方法

首先加载 v4l2loopback 模块（需额外设置才能使 Chrome 正常工作）：

sudo modprobe v4l2loopback devices=1 max_buffers=2 exclusive_caps=1 card_label="VirtualCam" video_nr=10

然后运行 backscrub（-d -d 表示完整调试模式，-c 表示捕获设备，-v 表示虚拟设备，-b 表示壁纸）：

./backscrub -d -d -c /dev/video0 -v /dev/video10 -b ~/wallpapers/forest.jpg

部分摄像头（如 Logitech Brio）需要将视频源切换为 MJPG 格式，即通过添加 -f MJPG 参数，以启用更高分辨率的使用。

对于日常使用，可配置 /etc/modprobe.d/v4l2loopback.conf 文件：

# V4L loopback 驱动程序
options v4l2loopback max_buffers=2
options v4l2loopback exclusive_caps=1
options v4l2loopback video_nr=10
options v4l2loopback card_label="VirtualCam"

为实现开机自动加载驱动程序，可在 /etc/modules-load.d/v4l2loopback.conf 中添加以下内容：

v4l2loopback

系统要求

经测试的依赖项如下：

• Ubuntu 20.04, x86-64
  • Linux 内核 5.6（官方软件包）
  • OpenCV 4.2.0（官方软件包）
  • V4L2-Loopback 0.12.5（官方软件包）
  • Tensorflow Lite 2.5.0（来自 repo）
• Ubuntu 18.04.5, x86-64
  • Linux 内核 4.15（官方软件包）
  • OpenCV 3.2.0（官方软件包）
  • V4L2-Loopback 0.10.0（官方软件包）
  • Tensorflow Lite 2.1.0（来自 repo）

经测试的软件如下：

• Firefox
  • 90.0.2（可用）
  • 84.0（可用）
  • 76.0.1（可用）
  • 74.0.1（可用）
• Skype
  • 8.67.0.96（可用）
  • 8.60.0.76（可用）
  • 8.58.0.93（可用）
• guvcview
  • 2.0.6（配合参数 -c read 可用）
  • 2.0.5（配合参数 -c read 可用）
• Microsoft Teams
  • 1.3.00.30857（可用）
  • 1.3.00.5153（可用）
  • 1.4.00.26453（可用）
• Chrome
  • 87.0.4280.88（可用）
  • 81.0.4044.138（可用）
• Zoom — 是的，我有点虚伪，毕竟还是用 Zoom 测试了它 :-)
  • 5.4.54779.1115（可用）
  • 5.0.403652.0509（可用）

背景

在如今这个每个人都宅在家里、频繁使用 Skype、Zoom 和 WebRTC 进行视频通话的时代，我一直对总是把凌乱的办公室展示给他人感到有些烦恼。Skype 提供“模糊背景”功能，但用久了也会让人觉得乏味（而且隐私性也不如我个人期望的那样）。Zoom 内置了一些背景替换功能，但我根本不想碰那款软件（况且该功能在 Linux 上也根本不可用）。于是，我决定研究如何自己实现这一功能，而不依赖任何特定的视频会议软件来支持它。

整个方案主要包含三个步骤，难度各不相同：

• 在视频中识别人物（困难）
• 替换背景（简单）
• 将数据传输到虚拟视频设备（中等）

视频中的人物检测

尝试 0：深度相机（Intel Realsense）

此前我曾大量使用深度相机进行背景分割（参见 SurfaceStreams），因此随手拿了一台实验室里剩下的 RealSense 相机试了一下。然而，在杂乱的办公环境中，深度数据噪声很大，无论我如何调整相机设置，都无法准确捕捉到我的头发……？结果我看起来就像一位被砍掉头顶的中世纪僧侣，所以……继续尝试。

尝试 1：OpenCV 背景减除器

教程请参见：https://docs.opencv.org/3.4/d1/dc5/tutorial_background_subtraction.html。 该方法对于大部分静态背景和小型移动物体效果尚可，但对于静止背景下站立的整个人体则无法正常工作。继续尝试。

尝试 2：OpenCV 人脸检测器

教程请参见：https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html。 该方法勉强可用，但显然只能检测到脸部，而无法识别整个人体。此外，检测结果仅近似为椭圆形，最终显示效果显得十分怪异。继续尝试。

尝试3：深度学习！

我听说深度学习挺不错的，那就试试看吧。一开始得在一堆框架（Keras、TensorFlow、PyTorch等）里摸索一番，不过后来找到了一个基于 TensorFlow Lite 的语义分割预训练模型（DeepLab v3+），就决定用它了。

我看了对应的 Python 示例、C++ 示例 和 Android 示例，然后基于这些写了一个 Python 演示程序。不过它的帧率只有约 2.5 FPS，实在太慢了，于是我又写了一个 C++ 版本，在没有太多手动优化的情况下也能达到 10 FPS，还算不错。

我还测试过将 Body-Pix 模型 转换为 TFLite 格式的版本，但对于这个应用场景来说，效果和 DeepLab 差不多。

最近，Google 又发布了一个专门针对 [Google Meet 中使用的人员分割] 训练的模型（背景功能在 Google Meet 中的应用）。这个模型无论在速度还是精度上都远超 DeepLab，所以现在它成了默认选择。它需要 MediaPipe 框架中的一个自定义算子，不过集成起来相当容易。感谢 @jiangjianping 在 相关问题 中指出这一点。

替换背景

这基本上就是 OpenCV 里的一行代码：bg.copyTo(raw,mask); 我早就说过，这部分是最简单的。

虚拟视频设备

我使用 v4l2loopback 将用户空间工具的数据流转发到任何可以打开 V4L2 设备的软件中。由于有很好的示例，这并不难，但也有一些需要注意的地方，尤其是色彩空间。我经过多次尝试，才找到一种 Firefox、Skype 和 guvcview 都能接受的通用像素格式——YUYV。幸运的是，我的摄像头可以直接输出 YUYV 格式的原始数据，这样就省去了不少色彩空间转换的工作。

最终结果

整个程序的数据流大致如下：

• 初始化
  • 加载 background.png，转换为 YUYV 格式
  • 初始化 TFLite，注册自定义算子
  • 加载 Google Meet 人员分割模型
  • 设置 V4L2 Loopback 设备（分辨率、YUYV）
• 循环
  • 从摄像头获取原始 YUYV 图像
  • 提取居中的肖像 ROI
    • 将 ROI 缩放到 144 x 256 像素 (*)
    • 转换为 RGB 浮点 32 位格式 (*)
    • 运行 Google Meet 人员分割模型
    • 使用 softmax 将结果转换为二值掩码
    • 通过腐蚀/膨胀对掩码进行去噪处理
  • 将掩码放大到原始图像尺寸
  • 使用掩码将背景图像覆盖到原始图像上（见上文）
  • 将数据 write() 到虚拟视频设备

(*) 这些是该模型所需的输入参数。

局限性与扩展

老规矩：欢迎提交 Pull Request。

请参阅 Issues 和 Pull Requests 以了解当前讨论中或正在进行中的扩展功能，也可以查看 experimental 分支。

已修复的问题

• 项目名称不够吸引人。帮我找一个好听的 反向首字母缩略词。
• 分辨率目前硬编码为 640x480（最低兼容标准）。
• 目前只支持 Linux，因为我自己用的就是 Linux。
• 需要一台能够输出原始 YUYV 数据的摄像头（不过扩展到常见的 YUV420 格式应该很简单）。
• 掩码可能还需要做一次腐蚀（加膨胀？）操作。
• 背景图像的尺寸需要与摄像头分辨率一致（参见问题 #1）。
• CPU 占用过高：在我那台 2.7 GHz 的 i5 机器上，仅仅运行 VGA 分辨率、10 FPS 的画面就会把两个核心占满。已通过使用 Google Meet 人员分割模型解决。
• 当前使用的是原生的 Deeplab v3+ 网络。也许只用“人物”和“背景”两类进行再训练，能进一步提升性能？已通过使用 Google Meet 人员分割模型解决。

其他链接

Firefox 推荐的格式：https://searchfox.org/mozilla-central/source/third_party/libwebrtc/webrtc/modules/video_capture/linux/video_capture_linux.cc#142-159

向 OBS Studio 输入视频

我们已经收到通知，某些通过 snap 打包的 obs-studio 版本无法检测或使用由 backscrub 提供的虚拟摄像头。如果遇到这种情况，请查看详细信息以寻找 workaround。

BackScrub 快速上手指南

BackScrub 是一个基于深度语义分割的 Linux 虚拟视频设备工具，可实时替换摄像头背景，适用于各类视频会议软件（如 Zoom、Teams、Skype 等）。

环境准备

系统要求

• 操作系统：Linux（已在 Ubuntu 18.04/20.04 x86-64 上测试通过）
• 内核版本：推荐 Linux Kernel 4.15 或更高
• 硬件要求：支持输出 raw YUYV 格式数据的网络摄像头（大多数主流摄像头均支持）

前置依赖

请确保安装以下开发库和工具：

sudo apt install libopencv-dev build-essential v4l2loopback-dkms curl git cmake

注意：国内用户若下载依赖较慢，可配置阿里云或清华大学的 apt 镜像源加速安装。

安装步骤

1. 克隆项目代码

使用 git 克隆仓库（建议添加 --depth=1 以加快下载速度）：

git clone --recursive --depth=1 https://github.com/floe/backscrub.git
cd backscrub

2. 编译项目

创建构建目录并执行编译：

mkdir build
cd build
cmake ..
make -j $(nproc || echo 4)

编译完成后，可执行文件 backscrub 将生成在 build 目录下。

基本使用

1. 加载虚拟摄像头驱动

首先加载 v4l2loopback 内核模块，以便创建虚拟视频设备（以下配置兼容 Chrome 等浏览器）：

sudo modprobe v4l2loopback devices=1 max_buffers=2 exclusive_caps=1 card_label="VirtualCam" video_nr=10

2. 运行 BackScrub

执行以下命令启动背景替换功能：

• -c：指定物理摄像头设备（通常为 /dev/video0）
• -v：指定生成的虚拟摄像头设备（需与上述 video_nr 一致）
• -b：指定背景图片路径

./backscrub -c /dev/video0 -v /dev/video10 -b ~/wallpapers/forest.jpg

提示：部分高清摄像头（如 Logitech Brio）可能需要强制指定输入格式为 MJPG 以启用高分辨率，命令如下：

./backscrub -f MJPG -c /dev/video0 -v /dev/video10 -b ~/wallpapers/forest.jpg

3. 在会议软件中使用

打开任意视频会议软件（如 Zoom、Teams、Firefox），在视频设置中选择摄像头为 "VirtualCam" (对应 /dev/video10) 即可看到背景替换效果。

4. （可选）配置开机自动加载

若需每次重启后自动生效，可创建以下配置文件：

配置模块参数：

sudo tee /etc/modprobe.d/v4l2loopback.conf <<EOF
# V4L loopback driver
options v4l2loopback max_buffers=2
options v4l2loopback exclusive_caps=1
options v4l2loopback video_nr=10
options v4l2loopback card_label="VirtualCam"
EOF

配置开机加载模块：

echo "v4l2loopback" | sudo tee /etc/modules-load.d/v4l2loopback.conf