新闻 🔥🔥🔥

• 我们提供了 DL3DV-Evaluation 用于测试/评估。注意：DL3DV-Evaluation 中的场景未包含在 DL3DV-10K 数据集中。
• DL3DV-3DGS 的前 7K 已由 FCGS 处理，现已在 DL3DV-GS-960P 上发布！
• stability.ai 将 DL3DV 用于 相机控制 视频生成。
• Cosmos 在 World Foundation Model 的后训练阶段使用 DL3DV 进行 相机控制。
• DepthSplat 在 DL3DV 的基础上进一步开发。请查看他们的工作以及处理后的 数据集！
• 为了帮助您制作预告图/视频，我们将所有无人机视频发布到了 DL3DV 的 Hugging Face：drone。
• 我们已将全部 10K 个视频/图像/位姿发布到 Hugging Face！ 请记得更新 download.py 脚本。

摘要

我们见证了基于深度学习的 3D 视觉领域的显著进展，从基于神经辐射场（NeRF）的 3D 表征学习，到新颖视图合成（NVS）的应用。然而，现有的用于深度学习 3D 视觉的场景级数据集，要么局限于合成环境，要么仅涵盖少量真实场景，远远不能满足需求。这种不足不仅阻碍了对现有方法的全面基准测试，也限制了深度学习 3D 分析的探索范围。为弥补这一关键空白，我们提出了 DL3DV-10K，这是一个大规模场景数据集，包含来自 65 种兴趣点（POI）的 10,510 条视频中的 5,120 万帧，覆盖有界和无界场景，并具有不同反射、透明度和光照条件。我们在 DL3DV-10K 上对近期的 NVS 方法进行了全面基准测试，揭示了对未来 NVS 研究有价值的见解。此外，我们在利用 DL3DV-10K 学习可泛化 NeRF 的试点研究中取得了令人鼓舞的成果，这表明构建大规模场景级数据集对于迈向 3D 表征学习的基础模型至关重要。

核心特性

• 10,510 个多视角场景，涵盖 5,120 万帧，分辨率为 4K。
• 140 条视频作为新颖视图合成（NVS）基准。
• 所有视频均按场景环境（室内 vs. 室外）、反射、透明度和光照水平进行标注。
• 发布的样本包括 Colmap 计算的相机位姿。
• 基准视频提供 SOTA NVS 方法的训练参数，包括 3D 高斯泼溅、ZipNeRF、Mip-NeRF 360、Instant-NGP 和 Nerfacto。

NVS 基准训练结果

我们报告了主要 STOA 方法（2023 年秋季）在我们的大规模 NVS 基准上的表现。以下是定量结果。更多详细信息（例如更多定量和定性结果）请参阅我们的论文。

基准测试中的性能。误差指标是基于 140 个场景的平均值，缩放因子为 4。Zip-NeRF 使用默认批次大小（65536），而 Zip-NeRF* 则使用与其他方法相同的批次大小（4096）。请注意，训练时间和内存使用可能因不同配置而异。

A 展示了每种方法在基准测试中 PSNR 和 SSIM 的密度分布及其关系。B 描述了按场景复杂度的性能比较。柱状图上方的文字是各方法在该属性上的平均值。

数据准备

数据规模

DL3DV-10K 拥有超过 10K 条高质量视频，涵盖了用于 3D 视觉任务的各种真实场景。

数据采集

我们制定了以下要求，作为录制高质量场景级视频的指导方针：

• 场景覆盖范围应为圆形或半圆形，步行直径约为 30–45 秒，且至少有五个自然排列的拍摄点。
• 相机的默认焦距应对应于 0.5 倍超广角模式，以捕捉更广泛的背景信息。
• 每段视频应至少包含 180° 或 360° 的水平视角，且拍摄高度多样，包括俯拍和腰部视角，从而提供覆盖区域内物体的高密度视图。
• 视频分辨率应为 4K，帧率应为 60 fps（或 30 fps）。
• 手机拍摄的视频时长应不少于 60 秒，无人机拍摄的视频时长应不少于 45 秒。
• 我们建议视频中移动物体的持续时间不超过 3 秒，最多允许 10 秒。
• 帧画面不应出现运动模糊或过度曝光，所拍摄的物体应具有立体感。

数据统计

访问 DL3DV-10K 网站

数据集下载

数据集预览

我们在此提供预览页面 这里。该页面展示了每个场景的快照、哈希码和标签。部分缺失的标签将很快更新。

下载说明

• 免费下载示例视频（11个场景）

  • 请从这里访问

• 基准数据集发布（140个场景）

  • 原始视频
  • 基准图像、相机位姿（已开放下载）
    • 用户可在此处提交申请：DL3DV-10K 基准数据集。
    • 我们为基准场景提供了 Nerfstudio 和 3D Gaussian Splatting 两种格式的数据。
    • 3D Gaussian Splatting、ZipNeRF、Mip-NeRF 360、Instant NGP 和 Nerfacto 的基准训练权重（即将发布）

• 10K 全量数据集发布： 整个数据集规模非常庞大，我们提供了不同版本以满足不同需求。

  • 480P 分辨率的帧及对应位姿（约730G）。数据集链接。
  • 960P 分辨率的帧及对应位姿（约2.8T）。数据集链接。
  • 2K 分辨率的帧及对应位姿（约11T）。数据集链接。
  • 4K 分辨率的帧及对应位姿（约44T）。数据集链接。
  • 4K 视频（约7T）。数据集链接。
  • COLMAP 缓存文件夹（如果您需要基于这些缓存进行后处理，可能会很有用）。数据集链接。

请前往相应的 Hugging Face 数据集页面提交访问申请。一旦您提交了访问申请，即视为您已同意我们的使用条款和许可协议，并可访问该数据集。请注意，最新的许可协议允许对数据集进行合理使用。但用户有责任确保其使用方式恰当。DL3DV 组织对任何个人或实体因下载或访问本数据集而产生的误用、不当使用或不道德应用行为不承担任何责任。更多详情请参阅我们的许可协议。

如果您有足够的存储空间，可以使用 Git 从 Hugging Face 下载数据集。具体方法请参考此链接。480P/960P 版本通常足以满足大多数需求。

如果您的存储空间不足，我们还提供了一个下载脚本，用于下载部分数据集。首先，请确保您已申请访问权限（见上文）。在您的 Python 虚拟环境中运行以下命令来设置脚本所需的环境：

pip install huggingface_hub tqdm pandas

download.py 的使用方法如下：

usage: download.py [-h] --odir ODIR --subset {1K,2K,3K,4K,5K,6K,7K,8K,9K,10K} --resolution {4K,2K,960P,480P} --file_type {images+poses,video,colmap_cache} [--hash HASH]
                  [--clean_cache]

optional arguments:
  -h, --help            显示此帮助信息并退出
  --odir ODIR           输出目录
  --subset {1K,2K,3K,4K,5K,6K,7K,8K,9K,10K}
                        要下载的子集
  --resolution {4K,2K,960P,480P}
                        要下载的分辨率
  --file_type {images+poses,video,colmap_cache}
                        要下载的文件类型
  --hash HASH           若选择按哈希码下载特定场景，则需指定场景的哈希码
  --clean_cache         若启用，将清理 Hugging Face 缓存以节省空间

以下是一些示例：

# 确保您已申请访问权限。
# 使用此命令下载 download.py 脚本
wget https://raw.githubusercontent.com/DL3DV-10K/Dataset/main/scripts/download.py 

# 下载 480P 分辨率的图像和位姿，0~1K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 1K --resolution 480P --file_type images+poses --clean_cache


# 下载 960P 分辨率的图像和位姿，0~1K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 1K --resolution 960P --file_type images+poses --clean_cache


# 下载 2K 分辨率的图像和位姿，0~1K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 1K --resolution 2K --file_type images+poses --clean_cache


# 下载 4K 分辨率的图像和位姿，0~1K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 1K --resolution 4K --file_type images+poses --clean_cache


# 下载 4K 分辨率的视频，0~1K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 1K --resolution 4K --file_type video --clean_cache


# 下载 480P 分辨率的图像和位姿，1K~2K 子集，输出到 DL3DV-10K 目录   
python download.py --odir DL3DV-10K --subset 2K --resolution 480P --file_type images+poses --clean_cache

许可协议

DL3DV-10K 根据 DL3DV-10K 使用条款发布。 本仓库中提供了 DL3DV-10K 使用条款、免责声明以及许可协议的副本。

版权所有 © 2023

问题

尽管我们尽最大努力对数据进行匿名化处理，但仍可能存在无意中包含敏感信息的情况。如果您在数据集中发现任何此类问题（例如某些场景），请随时通过issue与我们联系。我们将手动遮盖所有敏感信息，以确保数据集的隐私性和完整性。

希望为 DL3DV-10K 数据集贡献力量吗？ 请在此处上传您的视频：这里。

关于

DL3DV-10K项目由陆凌领导。该数据集是在数据收集团队和众多志愿者的共同努力下创建的。我们的使命是让大规模的用于3D视觉的深度学习数据集能够广泛地为公众所使用。

陆凌担任DL3DV-10K数据集的主要联系人，负责规划路线图、对外沟通，并代表数据收集团队就数据集的预期用途提供解释和范围指导。 如需更多信息，请参阅**DL3DV-10K使用条款**、项目免责声明以及许可证副本。

贡献与致谢

数据集贡献

陆凌：提出并领导了该项目。设计了数据集的流程，包括数据采集和数据处理。

盛一晨：负责数据处理工作。

盛一晨、陆凌、赵文天、辛成、万坤、于兰涛、于子迅、郭千宇、卢雅文、涂志、李轩茂、阿尼鲁达·穆克吉、罗汉·阿肖克、孙兴鹏、孔祥睿：负责数据的收集和标注。

论文贡献

陆凌（通讯作者）：负责论文撰写，并完成了部分实验。

盛一晨：完成了部分实验。

于兰涛、于子迅、卢雅文、郭千宇、万坤、辛成：参与了校对工作。

贝德里希·贝内斯、华刚、阿尼凯特·贝拉、康浩、张天义：就研究框架和稿件撰写提供了宝贵的建议。

致谢

我们向以下尊敬的同事表示衷心的感谢：王兆鹏、吴静华、赵悦婷、张浩萌、阿迪提亚·卡雷尔、伊泽尔·阿维拉、拉胡尔·纳哈尔、梅莎·蒙朱尔和尼尔·阿查亚。你们宝贵而无私的贡献对我们编纂DL3DV-10K数据集的工作起到了至关重要的作用。

BibTeX

如果您认为本数据集有所帮助，请引用我们的论文。

@inproceedings{ling2024dl3dv,
  title={Dl3dv-10k: A large-scale scene dataset for deep learning-based 3d vision},
  author={Ling, Lu and Sheng, Yichen and Tu, Zhi and Zhao, Wentian and Xin, Cheng and Wan, Kun and Yu, Lantao and Guo, Qianyu and Yu, Zixun and Lu, Yawen and others},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={22160--22169},
  year={2024}
}

相关工作

• DL3DV数据大多由NeRFstudio进行处理。所有数据规范均遵循NeRFStudio的标准。
• DepthSplat是一项基于DL3DV的非常出色的工作。请务必查看！

DL3DV-10K 数据集快速上手指南

DL3DV-10K 是一个包含真实世界视频、场景标注及相机参数的大规模数据集，专为基于深度学习的 3D 视觉任务（如神经辐射场 NeRF、新视角合成 NVS）设计。

环境准备

在开始下载之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS/Windows
• Python 版本: Python 3.8 或更高版本
• 存储空间:
  • 示例数据：约 1GB
  • 480P 全量子集：约 730GB
  • 960P 全量子集：约 2.8TB
  • 4K 全量数据：高达 44TB (请根据需求选择分辨率)
• 网络环境: 需要访问 Hugging Face。国内用户若连接不稳定，建议配置镜像源或使用代理。

前置依赖安装

你需要安装 huggingface_hub、tqdm 和 pandas 来运行官方提供的下载脚本。建议在虚拟环境中执行：

pip install huggingface_hub tqdm pandas

提示: 国内用户可使用清华或阿里镜像加速安装：

pip install huggingface_hub tqdm pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

安装与数据获取步骤

1. 申请数据集访问权限

由于数据集较大且涉及使用条款，你需要先在 Hugging Face 上申请访问权限：

1. 访问 DL3DV-10K Hugging Face 主页 (以 480P 版本为例，其他版本同理)。
2. 点击页面上的 "Agree and access repository" 按钮。
3. 点击后即视为自动签署使用条款，获得下载资格。

2. 获取下载脚本

从 GitHub 仓库获取官方的 download.py 脚本：

wget https://raw.githubusercontent.com/DL3DV-10K/Dataset/main/scripts/download.py

基本使用

该脚本支持按需下载不同分辨率、不同子集大小以及不同类型的文件（图像+姿态、视频或 COLMAP 缓存）。

命令格式

python download.py --odir <输出目录> --subset <子集大小> --resolution <分辨率> --file_type <文件类型> [--clean_cache]

常用示例

示例 1：下载前 1K 个场景的 480P 图像及相机姿态（推荐入门） 这是最轻量级的版本，适合快速验证代码或进行小规模实验。

python download.py --odir DL3DV-10K --subset 1K --resolution 480P --file_type images+poses --clean_cache

示例 2：下载前 1K 个场景的 960P 图像及相机姿态 适用于需要更高分辨率但存储有限的场景。

python download.py --odir DL3DV-10K --subset 1K --resolution 960P --file_type images+poses --clean_cache

示例 3：下载前 1K 个场景的 4K 原始视频 适用于需要原始视频数据进行重新处理的情况。

python download.py --odir DL3DV-10K --subset 1K --resolution 4K --file_type video --clean_cache

示例 4：下载特定哈希值的单个场景 如果你只想测试某个特定场景（需已知该场景的 hash code）：

python download.py --odir DL3DV-10K --subset hash --resolution 480P --file_type images+poses --hash <YOUR_SCENE_HASH>

参数说明

• --odir: 数据保存的输出目录。
• --subset: 下载的数据子集范围，可选 {1K, 2K, ..., 10K} 或 hash。
• --resolution: 目标分辨率，可选 {4K, 2K, 960P, 480P}。
• --file_type: 文件类型，可选 {images+poses, video, colmap_cache}。
• --clean_cache: (可选) 下载完成后清理 Hugging Face 本地缓存以节省空间。

注意: 下载完成后，数据将直接保存在指定的 --odir 目录中，通常可直接用于 Nerfstudio 或 3D Gaussian Splatting 等框架的训练。