AnyV2V

🌐 主页 | 📖 arXiv | 🤗 HuggingFace 演示 | 🎬 Replicate 演示

此仓库包含我们发表于 TMLR 2024 的论文“AnyV2V：一种无需微调的通用视频到视频编辑框架”的代码库（论文链接）。

简介

AnyV2V 是一个能够在视频编辑中实现高度外观一致性和时间一致性的框架。

• 仅需一张图片即可完成视频编辑
  • 将视频编辑问题转化为图像编辑问题
  • 可以无缝地基于现有的图像编辑方法实现多样化的编辑任务
• 无需训练
  • 不需要任何训练或微调

📰 最新消息

• 2024年10月29日：论文已被 TMLR 2024 接收。
• 2024年4月16日：本地 Gradio 演示现支持最长 16 秒（128 帧）的编辑。
• 2024年4月11日：新增了 AnyV2V(i2vgen-xl)+InstantStyle 的本地 Gradio 演示。
• 2024年4月7日：新增了【展示区】章节（issue #6）。欢迎大家分享你的 AnyV2V 编辑作品！
• 2024年4月7日：我们推荐将 AnyV2V 与 InstantStyle 结合使用，以实现视频风格化！请查看演示！
• 2024年4月3日：HuggingFace 演示正式上线！
• 2024年4月2日：新增了 AnyV2V(i2vgen-xl) 的本地 Gradio 演示。
• 2024年3月24日：为 AnyV2V(i2vgen-xl) 添加了 Replicate 演示。感谢 @chenxwh 的辛勤付出！！
• 2024年3月22日：代码正式发布。
• 2024年3月21日：我们的论文被收录于 HuggingFace Daily Papers！
• 2024年3月21日：论文已在 Arxiv 上线。AnyV2V 是首个在视频编辑中利用 I2V 模型的工作！

▶️ AnyV2V(i2vgen-xl) 快速入门

环境配置

使用以下命令准备 AnyV2V 项目代码库和 Conda 环境：

git clone https://github.com/TIGER-AI-Lab/AnyV2V
cd AnyV2V

cd i2vgen-xl
conda env create -f environment.yml

🤗 本地 Gradio 演示

AnyV2V+InstructPix2Pix（基于提示的编辑）

python gradio_demo.py

AnyV2V+InstantStyle 演示（风格迁移）

# 下载 InstantStyle 相关依赖
git lfs install
git clone https://huggingface.co/h94/IP-Adapter
mv IP-Adapter/models models
mv IP-Adapter/sdxl_models sdxl_models
rm -rf IP-Adapter
# 运行脚本
python gradio_demo_style.py

📜 Notebook 演示

我们提供了 AnyV2V(i2vgen-xl) 的 notebook 演示文件 i2vgen-xl/demo.ipynb。你可以运行该 notebook 对单个视频进行基于提示的编辑。请确保环境已正确配置后再运行 notebook。

若要编辑多个演示视频，请参阅【视频编辑】部分。

视频编辑

我们在 demo 文件夹中提供了演示源视频和编辑后的图像。以下是针对所提供源视频进行视频编辑的操作指南。请导航至 i2vgen-xl/configs/group_ddim_inversion 和 i2vgen-xl/configs/group_pnp_edit：

1. 修改 template.yaml 文件以指定 device。
2. 根据提供的示例修改 group_config.json 文件。group_config.json 中的配置会覆盖 template.yaml 中的配置。 要启用某个示例，将 active: true；要禁用，则设置 active: false。

然后可以运行以下命令进行推理：

cd i2vgen-xl/scripts
bash run_group_ddim_inversion.sh
bash run_group_pnp_edit.sh

或者使用 Python 运行以下命令：

cd i2vgen-xl/scripts

# 首先反演源视频的潜在表示
python run_group_ddim_inversion.py \
--template_config "configs/group_ddim_inversion/template.yaml" \
--configs_json "configs/group_ddim_inversion/group_config.json"

# 然后使用源视频的潜在表示运行 AnyV2V 流程
python run_group_pnp_edit.py \
--template_config "configs/group_pnp_edit/template.yaml" \
--configs_json "configs/group_pnp_edit/group_config.json"

若要编辑你自己的源视频，请按照以下步骤操作：

1. 将源视频 Your-Video.mp4 放入 demo 文件夹。
2. 创建两个新文件夹 demo/Your-Video-Name 和 demo/Your-Video-Name/edited_first_frame。
3. 运行以下命令进行首帧图像编辑：

python edit_image.py --video_path "./demo/Your-Video.mp4" --input_dir "./demo" --output_dir "./demo/Your-Video-Name/edited_first_frame" --prompt "Your prompt"

你也可以使用其他图像编辑方法，如 InstantID、AnyDoor 或 WISE 来编辑首帧。请将编辑后的首帧图像放入 demo/Your-Video-Name/edited_first_frame 文件夹。

4. 根据提供的示例，在位于 i2vgen-xl/configs/group_ddim_inversion 和 i2vgen-xl/configs/group_pnp_edit 目录中的 group_config.json 文件中为你的视频添加条目。
5. 运行推理命令：

cd i2vgen-xl/scripts
bash run_group_ddim_inversion.sh
bash run_group_pnp_edit.sh

▶️ AnyV2V(consisti2v) 快速入门

请参考 ./consisti2v/README.md

▶️ AnyV2V(seine) 快速入门

请参考 ./seine/README.md

▶️ 其他

第一帧图像编辑

我们提供了基于指令提示的图像编辑工具 instructpix2pix 的端口。

用法：edit_image.py [-h] [--model {magicbrush,instructpix2pix}]
                     [--video_path VIDEO_PATH] [--input_dir INPUT_DIR]
                     [--output_dir OUTPUT_DIR] [--prompt PROMPT] [--force_512]
                     [--dict_file DICT_FILE] [--seed SEED]
                     [--negative_prompt NEGATIVE_PROMPT]

处理一些图像。

可选参数：
  -h, --help            显示此帮助信息并退出
  --model {magicbrush,instructpix2pix}
                        图像编辑模型名称
  --video_path VIDEO_PATH
                        视频文件名
  --input_dir INPUT_DIR
                        包含视频的目录
  --output_dir OUTPUT_DIR
                        保存处理后图像的目录
  --prompt PROMPT       编辑的指令提示
  --force_512           在输入图像模型时强制调整为512x512
  --dict_file DICT_FILE
                        包含文件、指令等的JSON文件
  --seed SEED           随机数生成器的种子
  --negative_prompt NEGATIVE_PROMPT
                        编辑的负面提示

使用示例：

python edit_image.py --video_path "./demo/Man Walking.mp4" --input_dir "./demo" --output_dir "./demo/Man Walking/edited_first_frame" --prompt "把这个人变成达斯·维达"

您还可以使用其他图像模型进行编辑，以下是一些您可以使用的在线演示模型：

• 身份操控模型：InstantID
• 主体驱动的图像编辑模型：AnyDoor
• 风格迁移模型：WISE
• 风格迁移模型：InstantStyle

视频预处理脚本

在A6000显卡下，可以对16秒（128帧）的视频进行编辑。我们提供了一个脚本，用于将视频剪切和裁剪成任意尺寸和长度。

用法：prepare_video.py [-h] [--input_folder INPUT_FOLDER] [--video_path VIDEO_PATH] [--output_folder OUTPUT_FOLDER]
                        [--clip_duration CLIP_DURATION] [--width WIDTH] [--height HEIGHT] [--start_time START_TIME] [--end_time END_TIME]
                        [--n_frames N_FRAMES] [--center_crop] [--x_offset X_OFFSET] [--y_offset Y_OFFSET] [--longest_to_width]

裁剪和调整视频片段的大小。

可选参数：
  -h, --help            显示此帮助信息并退出
  --input_folder INPUT_FOLDER
                        包含视频文件的输入文件夹路径
  --video_path VIDEO_PATH
                        输入视频文件的路径
  --output_folder OUTPUT_FOLDER
                        输出视频文件的文件夹路径
  --clip_duration CLIP_DURATION
                        视频片段的时长，单位为秒，默认值为2
  --width WIDTH         输出视频的宽度（可选），默认值为512
  --height HEIGHT       输出视频的高度（可选），默认值为512
  --start_time START_TIME
                        裁剪的开始时间（可选）
  --end_time END_TIME   裁剪的结束时间（可选）
  --n_frames N_FRAMES   从每个视频中提取的帧数
  --center_crop         对视频进行居中裁剪
  --x_offset X_OFFSET   居中裁剪的水平偏移量，范围为-1到1（可选）
  --y_offset Y_OFFSET   居中裁剪的垂直偏移量，范围为-1到1（可选）
  --longest_to_width    将最长边调整为指定的宽度

使用示例：

python prepare_video.py --input_folder src_center_crop/ --output_folder processed --start_time 1 --center_crop --x_offset 0 --y_offset 0
python prepare_video.py --input_folder src_left_crop/ --output_folder processed --start_time 1 --center_crop --x_offset -1 --y_offset 0
python prepare_video.py --input_folder src_right_crop/ --output_folder processed --start_time 1 --center_crop --x_offset 1 --y_offset 0

📋 待办事项

AnyV2V(i2vgen-xl)

• 发布AnyV2V(i2vgen-xl)的代码
• 发布笔记本演示
• 发布Gradio演示
• 在HuggingFace Space上托管Gradio演示

AnyV2V(SEINE)

• 发布AnyV2V(SEINE)的代码

AnyV2V(ConsistI2V)

• 发布AnyV2V(ConsistI2V)的代码

杂项

• 辅助脚本用于预处理源视频
• 辅助脚本用于从源视频中获取编辑后的第一帧

🖊️ 引用

如果您使用我们的代码、数据、模型或结果，请引用我们的论文：

@article{ku2024anyv2v,
  title={AnyV2V: 一种无需微调的通用视频到视频编辑框架},
  author={Ku, Max and Wei, Cong and Ren, Weiming and Yang, Harry and Chen, Wenhu},
  journal={arXiv预印本 arXiv:2403.14468},
  year={2024}
}

🎫 许可证

本项目采用MIT许可证发布。然而，我们的代码基于一些可能使用其他许可证的项目：

• i2vgen-xl: 缺少许可证
• SEINE: Apache-2.0
• ConsistI2V: MIT许可证

⭐ 星标历史

📞 联系作者

Max Ku @vinemsuic, m3ku@uwaterloo.ca
Cong Wei @lim142857, c58wei@uwaterloo.ca
Weiming Ren @wren93, w2ren@uwaterloo.ca

💞 致谢

代码基于以下仓库构建，我们感谢所有开源贡献者：

• diffusers
• ImagenHub
• TokenFlow
• i2vgen-xl
• SEINE
• ConsistI2V

AnyV2V 快速上手指南

AnyV2V 是一个无需训练的视频编辑框架，能够仅通过单张参考图像实现高质量、时序一致的视频编辑任务（如风格迁移、物体替换等）。它将视频编辑转化为图像编辑问题，可直接复用现有的图像编辑模型。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 支持 CUDA 的 NVIDIA 显卡（编辑 16 秒/128 帧视频建议至少使用 A6000 或同等算力显卡）
• 依赖管理: Conda

前置依赖

确保已安装 git、conda 和 git-lfs（用于下载大模型文件）：

sudo apt-get update && sudo apt-get install git-lfs
git lfs install

安装步骤

以下以功能最完整的 AnyV2V(i2vgen-xl) 版本为例：

1. 克隆项目代码

   git clone https://github.com/TIGER-AI-Lab/AnyV2V
   cd AnyV2V/i2vgen-xl
   

2. 创建 Conda 环境

   conda env create -f environment.yml
   conda activate anyv2v
   

   提示: 如果下载依赖较慢，可在 environment.yml 中将 pip 源替换为国内镜像（如清华源），或在创建环境后手动配置： pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

3. 准备额外依赖（仅限风格迁移演示） 若需使用 InstantStyle 进行风格迁移，需下载相关模型：

   git clone https://huggingface.co/h94/IP-Adapter
   mv IP-Adapter/models models
   mv IP-Adapter/sdxl_models sdxl_models
   rm -rf IP-Adapter
   

基本使用

方式一：运行本地 Gradio 演示（推荐新手）

这是最简单的交互方式，启动后可在浏览器中上传视频和输入指令。

1. 基于提示词的编辑 (Prompt-based Editing) 适用于物体替换、属性修改等任务：

python gradio_demo.py

启动后访问终端显示的本地地址（通常是 http://127.0.0.1:7860），上传视频并输入如 "turn the man into darth vader" 的指令。

2. 风格迁移编辑 (Style Transfer) 适用于将特定艺术风格应用到视频中：

python gradio_demo_style.py

方式二：命令行批量编辑

若需处理自定义视频，请按以下步骤操作：

1. 准备视频与首帧编辑 将您的视频 Your-Video.mp4 放入 demo 文件夹，并创建输出目录：

mkdir -p demo/Your-Video-Name/edited_first_frame

使用内置脚本编辑第一帧（作为参考图）：

python edit_image.py \
--video_path "./demo/Your-Video.mp4" \
--input_dir "./demo" \
--output_dir "./demo/Your-Video-Name/edited_first_frame" \
--prompt "Your prompt here"

注：您也可以使用 InstantID、AnyDoor 等其他工具编辑首帧图片，并将结果存入 edited_first_frame 目录。

2. 配置任务 修改以下两个配置文件，添加您的视频条目并设置 active: true：

• i2vgen-xl/configs/group_ddim_inversion/group_config.json
• i2vgen-xl/configs/group_pnp_edit/group_config.json

同时检查同目录下的 template.yaml，确保 device 参数正确（如 cuda:0）。

3. 执行推理 依次运行潜空间反转和编辑生成脚本：

cd i2vgen-xl/scripts

# 第一步：源视频潜空间反转
bash run_group_ddim_inversion.sh

# 第二步：执行 AnyV2V 编辑生成
bash run_group_pnp_edit.sh

生成的视频将保存在配置文件中指定的输出路径下。

辅助工具：视频预处理

如果视频过长或分辨率不匹配，可使用预处理脚本进行裁剪和调整（支持中心裁剪、指定时长等）：

python prepare_video.py \
--input_folder ./src_videos \
--output_folder ./processed \
--clip_duration 2 \
--width 512 \
--height 512 \
--center_crop