AdaBins

Adabins：基于自适应分箱的深度估计的官方实现

下载链接

• 您可以从这里下载预训练模型“AdaBins_nyu.pt”和“AdaBins_kitti.pt”。
• 您还可以从这里下载NYU-Depth-v2官方测试集和KITTI Eigen划分测试集的16位格式预测深度。

Colab演示

推理

将下载的权重文件移动到您选择的目录中（我们这里使用“./pretrained/”）。然后您可以按如下方式使用预训练模型：

from models import UnetAdaptiveBins
import model_io
from PIL import Image

MIN_DEPTH = 1e-3
MAX_DEPTH_NYU = 10
MAX_DEPTH_KITTI = 80

N_BINS = 256 

# NYU
model = UnetAdaptiveBins.build(n_bins=N_BINS, min_val=MIN_DEPTH, max_val=MAX_DEPTH_NYU)
pretrained_path = "./pretrained/AdaBins_nyu.pt"
model, _, _ = model_io.load_checkpoint(pretrained_path, model)

bin_edges, predicted_depth = model(example_rgb_batch)

# KITTI
model = UnetAdaptiveBins.build(n_bins=N_BINS, min_val=MIN_DEPTH, max_val=MAX_DEPTH_KITTI)
pretrained_path = "./pretrained/AdaBins_kitti.pt"
model, _, _ = model_io.load_checkpoint(pretrained_path, model)

bin_edges, predicted_depth = model(example_rgb_batch)

请注意，该模型返回的是分箱边界值（而非分箱中心值）。

推荐方式：infer.py中的InferenceHelper类提供了一个简便的推理接口，并能处理各种类型的输入（包括所需的预处理）。它还使用了测试时增强技术（水平翻转），并为您计算出分箱中心值：

from infer import InferenceHelper

infer_helper = InferenceHelper(dataset='nyu')

# 预测一批RGB张量的深度
example_rgb_batch = ...  
bin_centers, predicted_depth = infer_helper.predict(example_rgb_batch)

# 预测单张PIL图像的深度
img = Image.open("test_imgs/classroom__rgb_00283.jpg")  # 任意RGB PIL图像
bin_centers, predicted_depth = infer_helper.predict_pil(img)

# 预测存储在指定目录中的多张图像的深度，并将结果以16位格式保存到指定输出目录
infer_helper.predict_dir("/path/to/input/dir/containing_only_images/", "path/to/output/dir/")

待办事项：

• 添加评估和训练说明。
• 添加UI演示。
• 移除不必要的依赖项。

AdaBins 快速上手指南

AdaBins 是一个基于自适应分箱（Adaptive Bins）技术的单目深度估计模型，在 KITTI 和 NYU-Depth-v2 数据集上取得了领先的性能。本指南将帮助您快速部署并进行推理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.7 或更高版本
• GPU: 推荐使用 NVIDIA GPU 以加速推理（需安装 CUDA 驱动）
• 核心依赖:
  • PyTorch
  • torchvision
  • PIL (Pillow)
  • numpy

建议先创建虚拟环境并安装基础深度学习框架：

python -m venv adabins_env
source adabins_env/bin/activate  # Windows 用户使用: adabins_env\Scripts\activate

# 国内用户推荐使用清华源加速安装
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install pillow numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆代码仓库 由于原文未提供具体的 GitHub 地址，请确保您已获取官方源代码目录。假设当前位于项目根目录。

2. 下载预训练模型 从官方 Google Drive 链接下载预训练权重文件 AdaBins_nyu.pt (室内场景) 或 AdaBins_kitti.pt (室外驾驶场景)。

   • 下载地址：Google Drive 链接

   下载完成后，在项目根目录下创建 pretrained 文件夹并将模型文件移入：

   mkdir -p pretrained
   # 将下载的 .pt 文件移动到该目录
   mv /path/to/downloaded/AdaBins_nyu.pt ./pretrained/
   

3. 验证依赖 确保代码目录中包含 models.py, model_io.py, 和 infer.py 等核心文件。如果缺少依赖包，可根据报错信息使用 pip install 补充（通常上述基础依赖已足够）。

基本使用

推荐使用封装好的 InferenceHelper 类进行推理，它自动处理了测试时增强（TTA）、图像预处理以及分箱中心计算，是最简便的使用方式。

示例代码

创建一个名为 demo.py 的文件，写入以下代码：

from infer import InferenceHelper
from PIL import Image

# 初始化帮助类，根据场景选择 'nyu' (室内) 或 'kitti' (室外)
# 这里以 NYU 数据集模型为例
infer_helper = InferenceHelper(dataset='nyu')

# 方法 1: 预测单张 PIL 图像
# 替换为您本地的图片路径
img_path = "test_imgs/classroom__rgb_00283.jpg"
img = Image.open(img_path)

# 执行预测
# bin_centers: 深度分箱的中心值
# predicted_depth: 最终的深度图 (numpy array)
bin_centers, predicted_depth = infer_helper.predict_pil(img)

print(f"预测完成，深度图形状：{predicted_depth.shape}")

# 方法 2: 批量预测目录下的所有图片并保存为 16-bit 格式
# infer_helper.predict_dir("/path/to/input/images/", "/path/to/output/depths/")

说明

• 输入: 支持任意 RGB 格式的 PIL Image 对象或批处理的 Tensor。
• 输出: predicted_depth 为单通道深度图，数值代表距离（单位与训练数据集一致，NYU 通常为米）。
• 模型切换: 若需使用 KITTI 模型，请将初始化代码改为 InferenceHelper(dataset='kitti') 并确保加载了对应的 AdaBins_kitti.pt 权重。