Text2LIVE：文本驱动的分层图像与视频编辑（ECCV 2022 - 口头报告）

[项目页面]

Text2LIVE 是一种用于现实世界图像和视频的文本驱动编辑方法，详情请参阅 (论文链接)。

我们提出了一种无需预训练、基于文本驱动的自然图像和视频外观操控方法。具体而言，给定一张输入图像或视频以及一个目标文本提示，我们的目标是以语义上合理的方式编辑现有物体的外观（例如物体的纹理），或通过新的视觉效果（如烟雾、火焰）来增强场景。我们的框架使用从单个输入（图像或视频及目标文本提示）中提取的内部训练数据集来训练生成器，同时利用外部预训练的 CLIP 模型来定义损失函数。与直接生成编辑后的输出不同，我们的核心思想是生成一个叠加在原始输入之上的编辑图层（颜色+不透明度）。这使得我们能够通过新颖的文本驱动损失函数直接作用于编辑图层，从而约束生成过程并保持对原始输入的高度保真度。我们的方法既不依赖于预训练的生成器，也不需要用户提供编辑掩码。因此，它可以在各种物体和场景中对高分辨率自然图像和视频进行局部化的语义编辑。

快速入门

安装

git clone https://github.com/omerbt/Text2LIVE.git
conda create --name text2live python=3.9 
conda activate text2live 
pip install -r requirements.txt

下载示例图像和视频

从 DAVIS 数据集下载示例图像和视频：

cd Text2LIVE
gdown https://drive.google.com/uc?id=1osN4PlPkY9uk6pFqJZo8lhJUjTIpa80J&export=download
unzip data.zip

这将创建一个名为 data 的文件夹：

Text2LIVE
├── ...
├── data
│   ├── pretrained_nla_models # NLA 模型存储于此
│   ├── images # 示例图像
│   └── videos # 来自 DAVIS 数据集的示例视频
│         ├── car-turn # 包含视频帧
│         ├── ...
└── ...

为了在视频编辑中保持时间一致性，我们使用神经分层图谱（NLA）。预训练的 NLA 模型来自 这里,并且已经放置在 data 文件夹中。

运行示例

• 我们的方法旨在改变现有物体的纹理或通过半透明效果（如烟雾、火焰）来增强场景，而非添加新物体或显著偏离原始的空间布局。
• 使用相同输入多次训练 Text2LIVE 可能会产生略有不同的结果。
• CLIP 有时会对特定解决方案表现出偏好（参见论文中的图 9），因此稍微不同的文本提示可能会导致不同风格的编辑效果。

所需的 GPU 内存取决于输入图像/视频的大小，但配备 Tesla V100 32GB 显卡应该足够了 :). 目前混合精度训练在过程中会带来一些不稳定，不过以后可以再加入。

视频编辑

运行以下命令开始训练：

python train_video.py --example_config car-turn_winter.yaml

图像编辑

运行以下命令开始训练：

python train_image.py --example_config golden_horse.yaml

优化过程中，中间结果会保存到 results 文件夹中。保存中间结果的频率由配置文件中的 log_images_freq 标志指定。

示例结果

https://user-images.githubusercontent.com/22198039/179797381-983e0453-2e5d-40e8-983d-578217b358e4.mov

更多内容请参阅 补充材料。

引用

@inproceedings{bar2022text2live,
  title={Text2live: Text-driven layered image and video editing},
  author={Bar-Tal, Omer and Ofri-Amar, Dolev and Fridman, Rafail and Kasten, Yoni and Dekel, Tali},
  booktitle={欧洲计算机视觉会议},
  pages={707--723},
  year={2022},
  organization={Springer}
}

Text2LIVE 快速上手指南

Text2LIVE 是一个基于文本驱动的图像和视频编辑工具，能够零样本（zero-shot）地修改现有对象的纹理（如改变材质）或为场景添加半透明特效（如烟、火、雪）。它无需预训练生成器，也无需用户提供编辑掩码，即可在高分辨率自然图像和视频中实现局部语义编辑。

环境准备

• 操作系统: Linux (推荐)
• Python: 3.9
• PyTorch: >= 1.10.0
• GPU: 推荐 Tesla V100 32GB 或同等显存大小的显卡（显存需求取决于输入图像/视频分辨率）。
• 依赖项: git, conda, gdown (用于下载数据)

安装步骤

1. 克隆项目并创建虚拟环境

git clone https://github.com/omerbt/Text2LIVE.git
cd Text2LIVE
conda create --name text2live python=3.9 
conda activate text2live 
pip install -r requirements.txt

提示: 国内用户若遇到 pip 下载慢的问题，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 下载示例数据与预训练模型

本项目需要 DAVIS 数据集的样本以及预训练的 NLA (Neural Layered Atlases) 模型以保证视频编辑的时间一致性。

# 确保当前在 Text2LIVE 目录下
gdown https://drive.google.com/uc?id=1osN4PlPkY9uk6pFqJZo8lhJUjTIpa80J&export=download
unzip data.zip

注：若无法访问 Google Drive，请自行寻找替代下载方式或手动下载后解压至项目根目录。解压后将自动生成 data 文件夹，包含 images、videos 及 pretrained_nla_models。

基本使用

Text2LIVE 通过读取配置文件中的文本提示（prompt）来驱动编辑过程。中间结果将保存在 results 文件夹中。

视频编辑示例

以下命令将加载 car-turn 视频示例，并根据配置文件中的文本提示（如添加冬季效果）进行训练和编辑：

python train_video.py --example_config car-turn_winter.yaml

图像编辑示例

以下命令将对单张图像进行纹理编辑（例如将马变成金色）：

python train_image.py --example_config golden_horse.yaml

使用说明与注意事项

• 适用场景: 适用于改变现有物体纹理或添加半透明特效。不适用于添加全新的物体或大幅改变原始空间布局。
• 结果差异: 由于内部训练机制和 CLIP 模型的特性，即使使用相同的输入和提示词，多次运行也可能产生略有不同的结果。
• 显存优化: 目前混合精度训练（mixed precision）可能导致不稳定，默认未开启。如遇显存不足，请尝试降低输入分辨率。