TokenFlow：用于一致性视频编辑的一致性扩散特征（ICLR 2024）

[项目页面]

https://github.com/omerbt/TokenFlow/assets/52277000/93dccd63-7e9a-4540-a941-31962361b0bb

TokenFlow 是一个框架，它利用预训练的文本到图像扩散模型，在无需任何进一步训练或微调的情况下，实现一致性的视频编辑。

生成式人工智能革命最近扩展到了视频领域。然而，目前最先进的视频模型在视觉质量和用户对生成内容的控制方面，仍然落后于图像模型。在本工作中，我们提出了一种框架，利用文本到图像扩散模型的力量来完成文本驱动的视频编辑任务。具体来说，给定一段源视频和一个目标文本提示，我们的方法会生成一段高质量的视频，既符合目标文本的要求，又能保留输入视频的空间布局和动态特性。我们的方法基于一个关键观察：通过在扩散特征空间中强制保持一致性，就可以实现编辑后视频的一致性。我们通过显式地根据帧间对应关系传播扩散特征来实现这一点，而这些对应关系在模型中是现成可用的。因此，我们的框架不需要任何训练或微调，并且可以与任何现成的文本到图像编辑方法结合使用。我们在多种真实世界视频上展示了最先进的编辑效果。

更多信息请参见 项目网页。

示例结果

环境

conda create -n tokenflow python=3.9
conda activate tokenflow
pip install -r requirements.txt

预处理

通过运行以下命令来预处理您的视频：

python preprocess.py --data_path <data/myvideo.mp4> \
                     --inversion_prompt <'' 或描述视频内容的字符串>

其他参数：

                     --save_dir <latents>
                     --H <视频高度>
                     --W <视频宽度>
                     --sd_version <Stable-Diffusion 版本>
                     --steps <反演步骤数>
                     --save_steps <稍后用于编辑的采样步骤数>
                     --n_frames <帧数>
                     

更多关于这些参数的信息可以在这里找到。

注意：

视频重建将保存为 inverted.mp4。良好的重建效果对于使用我们的方法成功编辑至关重要。

编辑

• TokenFlow 专为保持结构一致性的编辑设计。
• 我们的方法建立在图像编辑技术之上（例如，Plug-and-Play、ControlNet 等），因此确保所选基础技术能够正常工作非常重要。
• 根据原始视频的不同，LDM 解码器可能会引入一些抖动。

要编辑您的视频，首先按照 configs/config_pnp.yaml 的格式创建一个 YAML 配置文件。然后运行：

python run_tokenflow_pnp.py

同样地，如果您想使用 ControlNet 或 SDEdit，请分别按照 config/config_controlnet.yaml 或 configs/config_SDEdit.yaml 创建 YAML 配置文件，并分别运行 python run_tokenflow_controlnet.py 或 python run_tokenflow_SDEdit.py。

引用

@article{tokenflow2023,
        title = {TokenFlow: Consistent Diffusion Features for Consistent Video Editing},
        author = {Geyer, Michal and Bar-Tal, Omer and Bagon, Shai and Dekel, Tali},
        journal={arXiv preprint arxiv:2307.10373},
        year={2023}
        }

TokenFlow 快速上手指南

TokenFlow 是一个基于预训练文本到图像扩散模型的视频编辑框架。它无需额外训练或微调，即可在保持视频空间布局和动态一致性的前提下，实现高质量的文本驱动视频编辑。

环境准备

系统要求：

• 操作系统：Linux (推荐) 或 macOS
• Python 版本：3.9
• PyTorch 版本：>= 1.10.0
• GPU：建议使用支持 CUDA 的 NVIDIA 显卡以获得最佳性能

前置依赖：

• Conda (推荐用于环境管理)
• Git

安装步骤

1. 创建并激活 Conda 虚拟环境

   conda create -n tokenflow python=3.9
   conda activate tokenflow
   

2. 克隆项目代码并安装依赖

   git clone https://github.com/omerbt/TokenFlow.git
   cd TokenFlow
   pip install -r requirements.txt
   

   提示：国内用户若下载依赖较慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

TokenFlow 的工作流程分为两步：视频预处理（反演） 和 执行编辑。

第一步：视频预处理

首先需要对源视频进行预处理，生成潜在空间表示。请运行以下命令：

python preprocess.py --data_path <data/myvideo.mp4> \
                     --inversion_prompt '<描述视频内容的字符串>'

关键参数说明：

• --data_path: 输入视频的路径。
• --inversion_prompt: 描述视频内容的提示词（若留空则自动处理，但提供准确描述效果更佳）。
• --save_dir: 保存潜变量的目录（默认为 latents）。
• --sd_version: 指定 Stable-Diffusion 版本。

注意：运行完成后会生成 inverted.mp4。请务必检查该重建视频的质量，良好的重建是成功编辑的前提。

第二步：执行编辑

TokenFlow 支持多种底层编辑技术（如 Plug-and-Play, ControlNet, SDEdit）。使用前需先配置对应的 YAML 文件。

示例：使用 Plug-and-Play (PnP) 进行编辑

1. 参照 configs/config_pnp.yaml 创建或修改你的配置文件，设置目标文本提示词（target prompt）等参数。
2. 运行编辑脚本：

   python run_tokenflow_pnp.py
   

其他编辑模式：

• ControlNet: 配置 configs/config_controlnet.yaml 后运行 python run_tokenflow_controlnet.py
• SDEdit: 配置 configs/config_SDEdit.yaml 后运行 python run_tokenflow_SDEdit.py

编辑完成后，输出的视频将保留原始视频的结构和动态，同时体现文本提示带来的内容变化。