使用可扩展合成数据为任意视频生成深度图

Depth Any Video 引入了一条 可扩展的合成数据流水线，从多样化的游戏中捕获了 40,000 个视频片段，并利用生成式 视频扩散模型 的强大先验知识来推进视频深度估计任务。通过结合旋转位置编码、流匹配以及混合时长训练策略，该方法能够稳健地处理 不同长度和帧率的视频。此外，一种新颖的深度插值方法实现了 高分辨率深度推理，在空间精度和时间一致性方面均优于现有模型。

本仓库是论文的官方实现：

最新消息

[2024-10-20] Replicate 演示及 API 已添加至 这里。

[2024-10-20] Hugging Face 在线演示现已上线 这里。

[2024-10-15] arXiv 论文已发布 这里。

安装

使用 conda 设置环境，并支持应用程序运行：

git clone https://github.com/Nightmare-n/DepthAnyVideo
cd DepthAnyVideo

# 使用 conda 创建环境
conda create -n dav python==3.10
conda activate dav
pip install -r requirements.txt
pip install gradio

推理

• 对图像进行推理时，使用以下命令：

python run_infer.py --data_path ./demos/arch_2.jpg --output_dir ./outputs/ --max_resolution 2048

• 对视频进行推理时，使用以下命令：

python run_infer.py --data_path ./demos/wooly_mammoth.mp4 --output_dir ./outputs/ --max_resolution 960

引用

如果您觉得我们的工作有所帮助，请引用：

@article{yang2024depthanyvideo,
  author    = {Honghui Yang and Di Huang and Wei Yin and Chunhua Shen and Haifeng Liu and Xiaofei He and Binbin Lin and Wanli Ouyang and Tong He},
  title     = {Depth Any Video with Scalable Synthetic Data},
  journal   = {arXiv preprint arXiv:2410.10815},
  year      = {2024}
}

DepthAnyVideo 快速上手指南

Depth Any Video 是一个先进的视频深度估计工具，利用可扩展的合成数据管道和视频扩散模型的强大先验，能够鲁棒地处理不同长度和帧率的视频，并支持高分辨率深度推理。

环境准备

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.10
• 依赖管理：Conda (推荐)
• 硬件要求：建议使用配备 CUDA 的 NVIDIA GPU 以获得最佳推理速度

安装步骤

1. 克隆项目代码

   git clone https://github.com/Nightmare-n/DepthAnyVideo
   cd DepthAnyVideo
   

2. 创建并激活 Conda 环境

   conda create -n dav python==3.10
   conda activate dav
   

3. 安装依赖库

   提示：国内用户可使用清华或阿里镜像源加速 pip 安装。

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

安装完成后，即可通过命令行对图片或视频进行深度估计推理。结果将保存至指定的输出目录。

1. 图片深度估计

运行以下命令处理单张图片：

python run_infer.py --data_path ./demos/arch_2.jpg --output_dir ./outputs/ --max_resolution 2048

2. 视频深度估计

运行以下命令处理视频文件：

python run_infer.py --data_path ./demos/wooly_mammoth.mp4 --output_dir ./outputs/ --max_resolution 960

参数说明：

• --data_path: 输入图片或视频的路径。
• --output_dir: 深度图结果的保存目录。
• --max_resolution: 推理时的最大分辨率限制（根据显存大小调整，视频建议设为 960 或更低以防显存溢出）。