HashNeRF-pytorch

🌟 更新 🌟

如需解答关于本仓库的任何问题，请使用此 HuggingFace 聊天机器人。

---

Instant-NGP 最近为神经图形基元（如 NeRFs）引入了多分辨率哈希编码。NVIDIA 的原始实现主要基于 C++/CUDA，并以 tiny-cuda-nn 为基础，能够将 NeRF 的训练速度提升至原来的 100 倍！

本项目是 Instant-NGP 的 纯 PyTorch 实现，旨在让 AI 研究人员能够在此基础上进行实验和进一步创新。

该项目构建于非常实用的 NeRF-pytorch 实现之上。

与普通 NeRF 相比的收敛速度

HashNeRF-pytorch（左）对比 NeRF-pytorch（右）：

https://user-images.githubusercontent.com/8559512/154065666-f2eb156c-333c-4de4-99aa-8aa15a9254de.mp4

仅经过 5000 次迭代训练（在单块 1050Ti 显卡上约 10 分钟），你就能看到一张清晰的椅子渲染图。:)

使用说明

请从这里下载 nerf-synthetic 数据集：Google Drive。

要训练一个 chair 的 HashNeRF 模型：

python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

若要训练其他物体，如 ficus 或 hotdog，只需将 configs/chair.txt 替换为 configs/{object}.txt 即可：

额外功能

代码库还支持以下功能：

• 总变差损失，用于使嵌入更平滑（使用 --tv-loss-weight 启用）
• 对光线权重施加稀疏性损失（使用 --sparse-loss-weight 启用）

ScanNet 数据集支持

该仓库现在支持在 ScanNet 数据集中的场景上训练 NeRF 模型。我个人发现设置 ScanNet 数据集有些复杂。相关说明和注意事项请参阅 ScanNet.md。

待办事项：

• 在训练和/或推理过程中进行体素剪枝
• 加速光线追踪，实现早期光线终止

引用

向 Thomas Müller 和 NVIDIA 团队致以崇高的敬意，感谢他们这项令人惊叹的工作，它将极大地推动神经图形学研究的发展：

@article{mueller2022instant,
    title = {具有多分辨率哈希编码的即时神经图形基元},
    author = {Thomas M\"uller、Alex Evans、Christoph Schied 和 Alexander Keller},
    journal = {arXiv:2201.05989},
    year = {2022},
    month = jan
}

同时，也要感谢 Yen-Chen Lin 提供的非常实用的 NeRF-pytorch：

@misc{lin2020nerfpytorch,
  title={NeRF-pytorch},
  author={Yen-Chen, Lin},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished={\url{https://github.com/yenchenlin/nerf-pytorch/}},
  year={2020}
}

如果您觉得本项目有用，请考虑引用：

@misc{bhalgat2022hashnerfpytorch,
  title={HashNeRF-pytorch},
  author={Yash Bhalgat},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished={\url{https://github.com/yashbhalgat/HashNeRF-pytorch/}},
  year={2022}
}

星标历史

HashNeRF-pytorch 快速上手指南

HashNeRF-pytorch 是 Instant-NGP 的纯 PyTorch 实现，利用多分辨率哈希编码技术，相比传统 NeRF 可实现高达 100 倍的训练加速。本指南将帮助你快速在本地运行该工具。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux 或 Windows (推荐 Linux)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡 (显存建议 4GB 以上)
• 核心依赖:
  • PyTorch (需匹配你的 CUDA 版本)
  • torchvision
  • tqdm, imageio, configargparse 等常用库

前置依赖安装建议： 推荐使用国内镜像源加速 PyTorch 及相关库的安装。例如使用清华源：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：若仓库根目录无 requirements.txt，请手动安装上述提到的常用库)

安装步骤

1. 克隆仓库

   git clone https://github.com/yashbhalgat/HashNeRF-pytorch.git
   cd HashNeRF-pytorch
   

2. 下载数据集 本项目默认使用 Nerf Synthetic 数据集。你可以从 Google Drive 下载，或使用国内可用的镜像/网盘资源。

   • 官方来源: Google Drive Link
   • 操作: 下载后解压，确保数据文件夹结构清晰（例如包含 chair, ficus, hotdog 等子文件夹）。

基本使用

以下以训练经典的 chair (椅子) 模型为例，展示最简化的运行流程。

1. 训练模型

运行以下命令开始训练。该配置使用了哈希编码的关键参数，能在单张显卡（如 GTX 1050Ti）上约 10 分钟内完成初步收敛。

python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10

• --config: 指定配置文件，若要训练其他物体（如 ficus, hotdog），请替换为 configs/ficus.txt 等。
• --finest_res: 最高分辨率设置。
• --log2_hashmap_size: 哈希表大小对数，控制内存占用与精度。

2. 进阶选项（可选）

代码库支持额外的损失函数以优化渲染质量：

• 平滑嵌入: 添加 --tv-loss-weight 参数启用总变分损失。
• 稀疏性约束: 添加 --sparse-loss-weight 参数启用射线权重稀疏损失。

示例：

python run_nerf.py --config configs/chair.txt --finest_res 512 --log2_hashmap_size 19 --lrate 0.01 --lrate_decay 10 --tv-loss-weight 1e-6

训练完成后，模型将自动保存，并可用于生成新视角的合成图像。