本工作提出了Depth Anything V2。它在细节表现和鲁棒性方面显著优于V1。与基于SD的模型相比，它具有更快的推理速度、更少的参数以及更高的深度精度。

新闻

• 2025-01-22: Video Depth Anything 已发布。它可以为超长视频（例如超过5分钟）生成一致的深度图。
• 2024-12-22: Prompt Depth Anything 已发布。当使用低分辨率激光雷达作为提示时，该模型支持4K分辨率的度量深度估计。
• 2024-07-06: Depth Anything V2 已被集成到 Transformers 中。请参阅使用说明以方便使用。
• 2024-06-25: Depth Anything 已被整合到 Apple Core ML Models 中。请参阅使用说明（V1，V2)。
• 2024-06-22: 我们发布了基于Depth-Anything-V2-Small 和 Base 的更小的度量深度模型。
• 2024-06-20: 我们的仓库和项目页面被 GitHub 标记并从公开列表中移除，为期6天。对此造成的不便，我们深表歉意。
• 2024-06-14: 论文、项目页面、代码、模型、演示和基准测试均已发布。

预训练模型

我们提供了四种不同规模的模型，用于鲁棒的相对深度估计：

模型	参数量	检查点
Depth-Anything-V2-Small	24.8M	下载
Depth-Anything-V2-Base	97.5M	下载
Depth-Anything-V2-Large	335.3M	下载
Depth-Anything-V2-Giant	1.3B	即将发布

使用方法

准备工作

git clone https://github.com/DepthAnything/Depth-Anything-V2
cd Depth-Anything-V2
pip install -r requirements.txt

下载此处列出的预训练模型，并将它们放入 checkpoints 目录下。

使用我们的模型

import cv2
import torch

from depth_anything_v2.dpt import DepthAnythingV2

DEVICE = 'cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu'

model_configs = {
    'vits': {'encoder': 'vits', 'features': 64, 'out_channels': [48, 96, 192, 384]},
    'vitb': {'encoder': 'vitb', 'features': 128, 'out_channels': [96, 192, 384, 768]},
    'vitl': {'encoder': 'vitl', 'features': 256, 'out_channels': [256, 512, 1024, 1024]},
    'vitg': {'encoder': 'vitg', 'features': 384, 'out_channels': [1536, 1536, 1536, 1536]}
}

encoder = 'vitl' # 或 'vits', 'vitb', 'vitg'

model = DepthAnythingV2(**model_configs[encoder])
model.load_state_dict(torch.load(f'checkpoints/depth_anything_v2_{encoder}.pth', map_location='cpu'))
model = model.to(DEVICE).eval()

raw_img = cv2.imread('your/image/path')
depth = model.infer_image(raw_img) # HxW 的原始深度图，格式为 numpy

如果您不想克隆此仓库，也可以通过 Transformers 加载我们的模型。以下是一个简单的代码片段。更多详细信息请参考官方页面。

• 注意1：请确保您能够连接到 Hugging Face，并已安装最新版本的 Transformers。
• 注意2：由于 OpenCV（我们使用的库）与 Pillow（HF使用的库）之间的上采样差异，预测结果可能会略有不同。因此，我们建议您按照上述方式使用我们的模型。

from transformers import pipeline
from PIL import Image

pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")
image = Image.open('your/image/path')
depth = pipe(image)["depth"]

在图像上运行脚本

python run.py \
  --encoder <vits | vitb | vitl | vitg> \
  --img-path <path> --outdir <outdir> \
  [--input-size <size>] [--pred-only] [--grayscale]

选项：

• --img-path: 您可以将其指向一个存储所有感兴趣图像的目录，也可以指向单张图像，或指向一个包含所有图像路径的文本文件。
• --input-size（可选）：默认情况下，我们使用输入尺寸 518 进行模型推理。您可以增大尺寸以获得更精细的结果。
• --pred-only（可选）：仅保存预测的深度图，不保存原始图像。
• --grayscale（可选）：保存灰度深度图，不应用颜色映射。

例如：

python run.py --encoder vitl --img-path assets/examples --outdir depth_vis

在视频上运行脚本

python run_video.py \
  --encoder <vits | vitb | vitl | vitg> \
  --video-path assets/examples_video --outdir video_depth_vis \
  [--input-size <size>] [--pred-only] [--grayscale]

我们的大型模型在视频处理上具有更好的时间一致性。

Gradio 示例

要在本地使用我们的 Gradio 示例：

python app.py

你也可以尝试我们的在线示例。

注意：与 V1 相比，我们对 DINOv2-DPT 架构做了一处小修改（源自此问题)。 在 V1 中，我们无意间使用了 DINOv2 最后四层的特征进行解码。而在 V2 中，我们改用中间特征。尽管这一改动并未提升细节或精度，但我们仍决定遵循这一常见做法。

针对度量深度估计的微调

请参阅度量深度估计。

DA-2K 评估基准

请参阅DA-2K 基准。

社区支持

我们衷心感谢社区对我们 Depth Anything 系列的所有支持！非常感谢！

• Apple Core ML：
  • https://developer.apple.com/machine-learning/models
  • https://huggingface.co/apple/coreml-depth-anything-v2-small
  • https://huggingface.co/apple/coreml-depth-anything-small
• Transformers：
  • https://huggingface.co/docs/transformers/main/en/model_doc/depth_anything_v2
  • https://huggingface.co/docs/transformers/main/en/model_doc/depth_anything
• TensorRT：
  • https://github.com/spacewalk01/depth-anything-tensorrt
  • https://github.com/zhujiajian98/Depth-Anythingv2-TensorRT-python
• ONNX：https://github.com/fabio-sim/Depth-Anything-ONNX
• ComfyUI：https://github.com/kijai/ComfyUI-DepthAnythingV2
• Transformers.js（网页端实时深度）：https://huggingface.co/spaces/Xenova/webgpu-realtime-depth-estimation
• Android：
  • https://github.com/shubham0204/Depth-Anything-Android
  • https://github.com/FeiGeChuanShu/ncnn-android-depth_anything

致谢

我们由衷地感谢优秀的 Hugging Face 团队（@Pedro Cuenca、@Niels Rogge、@Merve Noyan、@Amy Roberts 等），他们在 Transformers 和 Apple Core ML 中为我们模型的支持付出了巨大努力。

同时，我们也感谢DINOv2团队，为我们的社区贡献了如此令人印象深刻的模型。

许可证

Depth-Anything-V2-Small 模型采用 Apache-2.0 许可证。Depth-Anything-V2-Base/Large/Giant 模型则采用 CC-BY-NC-4.0 许可证。

引用

如果你觉得本项目对你有帮助，请考虑引用以下内容：

@article{depth_anything_v2,
  title={Depth Anything V2},
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Zhao, Zhen and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  journal={arXiv:2406.09414},
  year={2024}
}

@inproceedings{depth_anything_v1,
  title={Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data}, 
  author={Yang, Lihe and Kang, Bingyi and Huang, Zilong and Xu, Xiaogang and Feng, Jiashi and Zhao, Hengshuang},
  booktitle={CVPR},
  year={2024}
}

Depth Anything V2 快速上手指南

Depth Anything V2 是一款强大的单目深度估计开源模型，相比 V1 版本在细节保留和鲁棒性上显著提升，且推理速度更快、参数量更优。本指南将帮助您快速在本地部署并使用该工具。

环境准备

• 操作系统: Linux, macOS, Windows
• Python: 3.8+
• 深度学习框架: PyTorch (推荐 1.10+)
• 硬件要求:
  • 推荐使用 NVIDIA GPU (CUDA) 以获得最佳推理速度。
  • 支持 Apple Silicon (MPS) 或纯 CPU 运行（速度较慢）。
• 前置依赖: opencv-python, torch, torchvision 等（将通过 requirements.txt 自动安装）。

国内加速建议： 在安装依赖时，建议使用清华或阿里镜像源加速下载：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

git clone https://github.com/DepthAnything/Depth-Anything-V2
cd Depth-Anything-V2

2. 安装依赖

pip install -r requirements.txt

(如需国内加速，请参照上方“环境准备”中的镜像源命令)

3. 下载预训练模型

根据需求选择模型规模，下载对应的 .pth 文件并放入项目根目录下的 checkpoints 文件夹中（需手动创建该文件夹）。

模型型号	参数量	下载链接	适用场景
Small	24.8M	下载	轻量级/实时应用
Base	97.5M	下载	平衡性能与速度
Large	335.3M	下载	高精度/视频处理
Giant	1.3B	即将发布	极致精度

操作示例：

mkdir checkpoints
# 以下载 Large 模型为例，将下载后的文件重命名为 depth_anything_v2_vitl.pth 并放入 checkpoints 目录

基本使用

方法一：Python 代码调用（推荐）

这是最灵活的使用方式，可直接集成到您的项目中。

import cv2
import torch
from depth_anything_v2.dpt import DepthAnythingV2

# 自动选择设备：CUDA > MPS (Mac) > CPU
DEVICE = 'cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu'

# 配置模型参数 (可选: vits, vitb, vitl, vitg)
encoder = 'vitl' 
model_configs = {
    'vits': {'encoder': 'vits', 'features': 64, 'out_channels': [48, 96, 192, 384]},
    'vitb': {'encoder': 'vitb', 'features': 128, 'out_channels': [96, 192, 384, 768]},
    'vitl': {'encoder': 'vitl', 'features': 256, 'out_channels': [256, 512, 1024, 1024]},
    'vitg': {'encoder': 'vitg', 'features': 384, 'out_channels': [1536, 1536, 1536, 1536]}
}

# 加载模型
model = DepthAnythingV2(**model_configs[encoder])
model.load_state_dict(torch.load(f'checkpoints/depth_anything_v2_{encoder}.pth', map_location='cpu'))
model = model.to(DEVICE).eval()

# 推理
raw_img = cv2.imread('your/image/path') # 替换为您的图片路径
depth = model.infer_image(raw_img)      # 输出为 HxW 的 numpy 深度图

# 后续可对 depth 进行可视化或保存

方法二：使用 Hugging Face Transformers（免克隆仓库）

如果您已安装最新版 transformers 且网络通畅，可直接通过 HF 接口调用（注意：由于插值算法差异，结果可能与官方实现略有不同）。

from transformers import pipeline
from PIL import Image

# 加载管道 (首次运行会自动下载模型)
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# 推理
image = Image.open('your/image/path')
depth = pipe(image)["depth"]
depth.save("depth_output.png")

方法三：命令行批量处理

项目提供了脚本用于批量处理图片或视频。

处理图片：

python run.py \
  --encoder vitl \
  --img-path assets/examples \
  --outdir depth_vis \
  --input-size 518

• --img-path: 支持单个图片路径、图片文件夹或包含路径的文本文件。
• --input-size: 默认为 518，增大此值可获得更精细的深度图（显存占用会增加）。

处理视频：

python run_video.py \
  --encoder vitl \
  --video-path assets/examples_video \
  --outdir video_depth_vis

• 提示：较大的模型（如 Large）在视频处理上具有更好的时间一致性。

方法四：本地 Gradio 演示

启动本地 Web UI 进行交互式测试：

python app.py

启动后在浏览器访问显示的本地地址即可。