本工作提出了 Depth Anything 3 (DA3)，该模型能够从任意视觉输入中预测空间一致的几何结构，无论是否已知相机位姿。 为了追求极简建模，DA3 得出了两个关键见解：

• 💎 一个单一的普通 Transformer 网络（例如标准 DINO 编码器）就足以作为骨干网络，无需架构上的专门设计，
• ✨ 一种单一的深度 - 射线表示法消除了对复杂多任务学习的需求。

🏆 DA3 在单目深度估计方面显著优于 DA2， 并在多视图深度估计和位姿估计方面优于 VGGT。 所有模型均仅在公开学术数据集上训练。

📰 新闻

• 2025-11-12： 🚀 发布新模型和 DA3-Streaming！通过滑动窗口流式推理处理超长视频序列推理，且 GPU 显存占用低于 12GB。特别感谢 Kai Deng 对 DA3-Streaming 的贡献！
• 2025-08-12： 📊 基准评估流程 发布！在 5 个数据集上评估位姿估计和 3D 重建。
• 2025-11-30： 添加 use_ray_pose 和 ref_view_strategy（用于多视图输入的参考视图选择）。
• 2025-11-25： 添加 Awesome DA3 Projects，这是一个社区驱动的板块，展示基于 DA3 的应用。
• 2025-11-14： 论文、项目页面、代码和模型均已发布。

✨ 亮点

🏆 模型库

我们发布了三个系列的模型，每个系列都针对视觉几何中的特定用例进行了定制。

• 🌟 DA3 主系列 (DA3-Giant, DA3-Large, DA3-Base, DA3-Small) 这些是我们的旗舰基础模型，使用统一的深度 - 射线表示法训练。通过改变输入配置，单个模型可以执行广泛的任务：

  • 🌊 单目深度估计：从单张 RGB 图像预测深度图。
  • 🌊 多视图深度估计：为高质量融合生成来自多张图像的一致性深度图。
  • 🎯 位姿条件深度估计：当提供相机位姿作为输入时，实现卓越的一致性深度估计。
  • 📷 相机位姿估计：从一张或多张图像中估计相机的外参和内参。
  • 🟡 3D 高斯估计：直接预测 3D 高斯分布，实现高保真的新视图合成。

• 📐 DA3 度量系列 (DA3Metric-Large) 专为单目设置下的度量深度估计而微调的专用模型，适用于需要真实世界尺度的应用。

• 🔍 DA3 单目系列 (DA3Mono-Large)。专用于高质量相对单目深度估计的模型。与基于视差的模型（如 Depth Anything 2）不同，它直接预测深度，从而具有更优越的几何精度。

🔗 利用这些可用模型，我们开发了一个嵌套系列 (DA3Nested-Giant-Large)。该系列结合任意视图巨型模型和度量模型，以真实世界度量尺度重建视觉几何。

🛠️ 代码库特性

我们的仓库旨在成为一个强大且用户友好的工具包，适用于实际应用和未来研究。

• 🎨 交互式 Web UI 与画廊：通过易于使用的基于 Gradio 的 Web 界面可视化模型输出并比较结果。
• ⚡ 灵活的命令行界面 (CLI)：功能强大且可脚本化的命令行界面，用于批处理和集成到自定义工作流中。
• 💾 多种导出格式：将结果保存为各种格式，包括 glb, npz, 深度图像，ply, 3DGS 视频等，以便与其他工具无缝连接。
• 🔧 可扩展和模块化设计：代码库的结构便于未来研究和集成新模型或功能。

🚀 快速开始

📦 安装

pip install xformers torch\>=2 torchvision
pip install -e . # Basic
pip install --no-build-isolation git+https://github.com/nerfstudio-project/gsplat.git@0b4dddf04cb687367602c01196913cde6a743d70 # for gaussian head
pip install -e ".[app]" # Gradio, python>=3.10
pip install -e ".[all]" # ALL

有关详细的模型信息，请参阅下方的 模型卡片 (Model Cards) 部分。

💻 基本用法

import glob, os, torch
from depth_anything_3.api import DepthAnything3
device = torch.device("cuda")
model = DepthAnything3.from_pretrained("depth-anything/DA3NESTED-GIANT-LARGE")
model = model.to(device=device)
example_path = "assets/examples/SOH"
images = sorted(glob.glob(os.path.join(example_path, "*.png")))
prediction = model.inference(
    images,
)
# prediction.processed_images : [N, H, W, 3] uint8   array
print(prediction.processed_images.shape)
# prediction.depth            : [N, H, W]    float32 array
print(prediction.depth.shape)  
# prediction.conf             : [N, H, W]    float32 array
print(prediction.conf.shape)  
# prediction.extrinsics       : [N, 3, 4]    float32 array # opencv w2c or colmap format
print(prediction.extrinsics.shape)
# prediction.intrinsics       : [N, 3, 3]    float32 array
print(prediction.intrinsics.shape)

export MODEL_DIR=depth-anything/DA3NESTED-GIANT-LARGE
# This can be a Hugging Face repository or a local directory
# If you encounter network issues, consider using the following mirror: export HF_ENDPOINT=https://hf-mirror.com
# Alternatively, you can download the model directly from Hugging Face
export GALLERY_DIR=workspace/gallery
mkdir -p $GALLERY_DIR

# CLI auto mode with backend reuse
da3 backend --model-dir ${MODEL_DIR} --gallery-dir ${GALLERY_DIR} # Cache model to gpu
da3 auto assets/examples/SOH \
    --export-format glb \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/SOH \
    --use-backend

# CLI video processing with feature visualization
da3 video assets/examples/robot_unitree.mp4 \
    --fps 15 \
    --use-backend \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/robo \
    --export-format glb-feat_vis \
    --feat-vis-fps 15 \
    --process-res-method lower_bound_resize \
    --export-feat "11,21,31"

# CLI auto mode without backend reuse
da3 auto assets/examples/SOH \
    --export-format glb \
    --export-dir ${GALLERY_DIR}/TEST_CLI/SOH \
    --model-dir ${MODEL_DIR}

模型架构定义在 DepthAnything3Net 中，并通过位于 src/depth_anything_3/configs 的 YAML 配置文件指定。输入和输出处理由 DepthAnything3 处理。要自定义模型架构，只需创建一个新的配置文件（例如，path/to/new/config）如下：

__object__:
  path: depth_anything_3.model.da3
  name: DepthAnything3Net
  args: as_params

net:
  __object__:
    path: depth_anything_3.model.dinov2.dinov2
    name: DinoV2
    args: as_params

  name: vitb
  out_layers: [5, 7, 9, 11]
  alt_start: 4
  qknorm_start: 4
  rope_start: 4
  cat_token: True

head:
  __object__:
    path: depth_anything_3.model.dualdpt
    name: DualDPT
    args: as_params

  dim_in: &head_dim_in 1536
  output_dim: 2
  features: &head_features 128
  out_channels: &head_out_channels [96, 192, 384, 768]

然后，可以使用以下代码片段创建模型。

from depth_anything_3.cfg import create_object, load_config

Model = create_object(load_config("path/to/new/config"))

📚 有用文档

• 🖥️ 命令行界面 (CLI)
• 📑 Python 应用程序接口 (API)
• 📊 基准评估 (Benchmark Evaluation)

🗂️ 模型卡片

通常情况下，您会观察到 DA3-LARGE 取得了与 VGGT 相当的结果。

Nested 系列使用 Any-view 模型（任意视角模型）来估计姿态和深度，并使用单目度量深度估计器 (monocular metric depth estimator) 进行缩放。

⚠️ 带有 -1.1 后缀的模型是在修复训练错误后重新训练的；请优先使用这些更新后的检查点 (checkpoints)。原始的 DA3NESTED-GIANT-LARGE、DA3-GIANT 和 DA3-LARGE 仍然可用，但已被弃用。使用 -1.1 模型时，您可以期待在街景场景中获得更好的性能。

🗃️ 模型名称	📏 参数量	📊 相对深度	📷 姿态估计	🧭 姿态条件	🎨 GS (高斯泼溅)	📐 度量深度	☁️ 天空分割	📄 许可证
Nested 系列
DA3NESTED-GIANT-LARGE-1.1	1.40B	✅	✅	✅	✅	✅	✅	CC BY-NC 4.0
DA3NESTED-GIANT-LARGE	1.40B	✅	✅	✅	✅	✅	✅	CC BY-NC 4.0
任意视角模型 (Any-view Model)
DA3-GIANT-1.1	1.15B	✅	✅	✅	✅			CC BY-NC 4.0
DA3-GIANT	1.15B	✅	✅	✅	✅			CC BY-NC 4.0
DA3-LARGE-1.1	0.35B	✅	✅	✅				CC BY-NC 4.0
DA3-LARGE	0.35B	✅	✅	✅				CC BY-NC 4.0
DA3-BASE	0.12B	✅	✅	✅				Apache 2.0
DA3-SMALL	0.08B	✅	✅	✅				Apache 2.0
单目度量深度 (Monocular Metric Depth)
DA3METRIC-LARGE	0.35B	✅				✅	✅	Apache 2.0
单目深度 (Monocular Depth)
DA3MONO-LARGE	0.35B	✅					✅	Apache 2.0

❓ 常见问题

• 单目度量深度 (Monocular Metric Depth)：要从 DA3METRIC-LARGE 获取以米为单位的度量深度，请使用 metric_depth = focal * net_output / 300.，其中 focal 是以像素为单位的焦距（通常是相机内参矩阵 K 中 fx 和 fy 的平均值）。注意 DA3NESTED-GIANT-LARGE 的输出已经是米为单位。

• 射线头 (use_ray_pose)：我们的 API 和 CLI 支持 use_ray_pose 参数，这意味着模型将从射线头推导相机姿态，这通常稍慢一些，但更准确。注意默认值为 False 以获得更快的推理速度。

  DA3NESTED-GIANT-LARGE 的 AUC3 结果

  模型	HiRoom	ETH3D	DTU	7Scenes	ScanNet++
  ray_head	84.4	52.6	93.9	29.5	89.4
  cam_head	80.3	48.4	94.1	28.5	85.0

• 不支持 XFormers 的旧 GPU：请参阅 Issue #11。感谢 @S-Mahoney 提供的解决方案！

🏢 优秀的 DA3 项目

这是一个由社区整理的 Depth Anything 3 集成列表，涵盖 3D 工具、创意管线、机器人以及 Web/VR 查看器等领域，包括但不限于以下项目。欢迎您通过 PR 提交基于 DA3 的项目，如果适用，我们将审核并展示。

• DA3-blender: 用于从一组图像进行基于 DA3 的 3D 重建的 Blender 插件。

• ComfyUI-DepthAnythingV3: Depth Anything 3 的 ComfyUI 节点，支持单/多视图和视频一致深度，可选导出点云。

• DA3-ROS2-Wrapper: 支持多摄像头的 ROS2 实时 DA3 深度。

• DA3-ROS2-CPP-TensorRT: DA3 ROS2 C++ TensorRT 推理节点：一个使用 TensorRT 进行实时推理的 DA3 深度估计 ROS2 节点。

• VideoDepthViewer3D: 将带有 DA3 度量深度的视频流式传输到 Three.js/WebXR 3D 查看器，用于 VR/立体播放。

🧑‍💻 官方代码库核心贡献者与维护者

Bingyi Kang

Haotong Lin

Sili Chen

Jun Hao Liew

Donny Y. Chen

Kai Deng

📝 引用

如果您在研究或项目中发现 Depth Anything 3 有用，请引用我们的工作：

@article{depthanything3,
  title={Depth Anything 3: Recovering the visual space from any views},
  author={Haotong Lin and Sili Chen and Jun Hao Liew and Donny Y. Chen and Zhenyu Li and Guang Shi and Jiashi Feng and Bingyi Kang},
  journal={arXiv preprint arXiv:2511.10647},
  year={2025}
}

Depth Anything 3 (DA3) 快速上手指南

Depth Anything 3 (DA3) 是一个能够从任意视角恢复视觉空间的模型，支持单目、多目深度估计及相机位姿估计。本指南帮助您快速完成环境搭建与基础调用。

环境准备

• 操作系统: Linux / macOS / Windows
• Python 版本: >= 3.10
• 硬件要求: 建议配备 NVIDIA GPU（CUDA 环境）
• 核心依赖: PyTorch >= 2.0, xformers

安装步骤

1. 配置下载加速（可选但推荐）

为避免 Hugging Face 下载缓慢，建议在安装前设置国内镜像：

export HF_ENDPOINT=https://hf-mirror.com

2. 安装依赖

请根据您的需求选择以下命令之一：

基础安装：

pip install xformers torch>=2 torchvision
pip install -e . 

如需高斯头支持（3DGS）：

pip install --no-build-isolation git+https://github.com/nerfstudio-project/gsplat.git@0b4dddf04cb687367602c01196913cde6a743d70

如需 Web UI 功能：

pip install -e ".[app]" 

完整安装（包含所有功能）：

pip install -e ".[all]" 

基本使用

Python API 调用

以下示例演示如何加载模型并进行推理。

注意：虽然示例中使用的是 DA3NESTED-GIANT-LARGE，但官方建议优先使用带 -1.1 后缀的模型（如 DA3NESTED-GIANT-LARGE-1.1），以获取修复后的最佳性能。

import glob, os, torch
from depth_anything_3.api import DepthAnything3

device = torch.device("cuda")
# 建议使用 -1.1 版本以获得更优性能
model = DepthAnything3.from_pretrained("depth-anything/DA3NESTED-GIANT-LARGE") 
model = model.to(device=device)

example_path = "assets/examples/SOH"
images = sorted(glob.glob(os.path.join(example_path, "*.png")))

prediction = model.inference(images)

# prediction.processed_images : [N, H, W, 3] uint8   array
print(prediction.processed_images.shape)
# prediction.depth            : [N, H, W]    float32 array
print(prediction.depth.shape)  
# prediction.conf             : [N, H, W]    float32 array
print(prediction.conf.shape)  
# prediction.extrinsics       : [N, 3, 4]    float32 array
print(prediction.extrinsics.shape)
# prediction.intrinsics       : [N, 3, 3]    float32 array
print(prediction.intrinsics.shape)

命令行工具 (CLI)

自动模式处理图片

export MODEL_DIR=depth-anything/DA3NESTED-GIANT-LARGE
export GALLERY_DIR=workspace/gallery
mkdir -p $GALLERY_DIR

# 启动后端缓存
da3 backend --model-dir ${MODEL_DIR} --gallery-dir ${GALLERY_DIR} 

# 执行自动处理并导出为 glb 格式
da3 auto assets/examples/SOH \
    --export-format glb \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/SOH \
    --use-backend

视频处理

da3 video assets/examples/robot_unitree.mp4 \
    --fps 15 \
    --use-backend \
    --export-dir ${GALLERY_DIR}/TEST_BACKEND/robo \
    --export-format glb-feat_vis \
    --feat-vis-fps 15 \
    --process-res-method lower_bound_resize \
    --export-feat "11,21,31"

更多高级用法请参考项目文档中的 Command Line Interface 和 Python API。