主动神经SLAM

这是ICLR-20论文的PyTorch实现：

使用主动神经SLAM学习探索
德文德拉·辛格·查普洛特、迪拉吉·甘地、索拉布·古普塔、阿比纳夫·古普塔、鲁斯兰·萨拉胡丁诺夫
卡内基梅隆大学、Facebook AI Research、伊利诺伊大学厄巴纳-香槟分校

项目官网：https://devendrachaplot.github.io/projects/Neural-SLAM

概述：

主动神经SLAM模型由三个模块组成：全局策略、局部策略和神经SLAM模块。 如下所示，神经SLAM模块根据传入的RGB观测和传感器读数预测地图及智能体位姿估计。该地图和位姿由全局策略用于输出长期目标，再通过解析式路径规划器将其转换为短期目标。局部策略则被训练来导航至该短期目标。

安装依赖

我们使用较早版本的habitat-sim和habitat-api。具体提交记录如下。

安装habitat-sim：

git clone https://github.com/facebookresearch/habitat-sim.git
cd habitat-sim; git checkout 9575dcd45fe6f55d2a44043833af08972a7895a9; 
pip install -r requirements.txt; 
python setup.py install --headless
python setup.py install # (适用于Mac OS)

安装habitat-api：

git clone https://github.com/facebookresearch/habitat-api.git
cd habitat-api; git checkout b5f2b00a25627ecb52b43b13ea96b05998d9a121; 
pip install -e .

根据您的系统配置，从https://pytorch.org/安装PyTorch。代码已在PyTorch v1.2.0上测试。如果您使用conda：

conda install pytorch==1.2.0 torchvision cudatoolkit=10.0 -c pytorch #(适用于带GPU的Linux)
conda install pytorch==1.2.0 torchvision==0.4.0 -c pytorch #(适用于Mac OS)

设置

克隆仓库并安装其他依赖：

git clone --recurse-submodules https://github.com/devendrachaplot/Neural-SLAM
cd Neural-SLAM;
pip install -r requirements.txt

代码需要在data文件夹中以以下格式存放数据集（与habitat-api相同）：

Neural-SLAM/
  data/
    scene_datasets/
      gibson/
        Adrian.glb
        Adrian.navmesh
        ...
    datasets/
      pointnav/
        gibson/
          v1/
            train/
            val/
            ...

请按照此处的说明下载数据：https://github.com/facebookresearch/habitat-api#data

要验证依赖是否正确安装以及数据是否正确设置，请运行：

python main.py -n1 --auto_gpu_config 0 --split val

使用

训练：

要在探索任务上训练完整的主动神经SLAM模型：

python main.py

下载预训练模型

mkdir pretrained_models;
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1UK2hT0GWzoTaVR5lAI6i8o27tqEmYeyY' -O pretrained_models/model_best.global;
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1A1s_HNnbpvdYBUAiw2y1JmmELRLfAJb8' -O pretrained_models/model_best.local;
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1o5OG7DIUKZyvi5stozSqRpAEae1F2BmX' -O pretrained_models/model_best.slam;

评估：

要评估预训练模型：

python main.py --split val --eval 1 --train_global 0 --train_local 0 --train_slam 0 \
--load_global pretrained_models/model_best.global \
--load_local pretrained_models/model_best.local \
--load_slam pretrained_models/model_best.slam 

若需可视化智能体观测以及预测的地图和位姿，可在上述命令中添加-v 1参数。

更多详细说明，请参阅INSTRUCTIONS。

引用方式

Chaplot, D.S., Gandhi, D., Gupta, S., Gupta, A. and Salakhutdinov, R., 2020. Learning To Explore Using Active Neural SLAM. In International Conference on Learning Representations (ICLR). (PDF)

Bibtex：

@inproceedings{chaplot2020learning,
  title={Learning To Explore Using Active Neural SLAM},
  author={Chaplot, Devendra Singh and Gandhi, Dhiraj and Gupta, Saurabh and Gupta, Abhinav and Salakhutdinov, Ruslan},
  booktitle={International Conference on Learning Representations (ICLR)},
  year={2020}
}

致谢

本仓库使用了Habitat API（https://github.com/facebookresearch/habitat-api）以及该API的部分代码。 PPO的实现借鉴自https://github.com/ikostrikov/pytorch-a2c-ppo-acktr-gail/。 我们感谢纪尧姆·朗普尔在本项目初期阶段的讨论与编码工作。

Neural-SLAM 快速上手指南

Neural-SLAM 是一个基于 PyTorch 实现的主动神经 SLAM（Active Neural SLAM）模型，源自 ICLR 2020 论文。该模型包含全局策略、局部策略和神经 SLAM 模块，能够利用 RGB 观测和传感器数据构建地图并规划探索路径。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: 兼容版本需配合 PyTorch 1.2.0
• GPU: 推荐使用 NVIDIA GPU (CUDA 10.0)，也可在无头模式（headless）下运行
• 磁盘空间: 需预留足够空间存放 Habitat 场景数据集（Gibson 等）

前置依赖

本项目依赖特定版本的 habitat-sim 和 habitat-api，以及 PyTorch 1.2.0。请确保已安装 git 和 pip。

注意：国内用户若遇到 GitHub 克隆或 PyTorch 下载缓慢，建议配置国内镜像源（如清华源、阿里源）或使用代理加速。

安装步骤

1. 安装 Habitat 依赖

需严格按照指定 commit 版本安装，否则可能导致兼容性问题。

安装 habitat-sim:

git clone https://github.com/facebookresearch/habitat-sim.git
cd habitat-sim
git checkout 9575dcd45fe6f55d2a44043833af08972a7895a9
pip install -r requirements.txt
# Linux 无头模式安装
python setup.py install --headless
# macOS 用户请使用以下命令
# python setup.py install
cd ..

安装 habitat-api:

git clone https://github.com/facebookresearch/habitat-api.git
cd habitat-api
git checkout b5f2b00a25627ecb52b43b13ea96b05998d9a121
pip install -e .
cd ..

2. 安装 PyTorch

代码已在 PyTorch v1.2.0 上测试通过。

Linux (GPU 版本):

conda install pytorch==1.2.0 torchvision cudatoolkit=10.0 -c pytorch

macOS (CPU 版本):

conda install pytorch==1.2.0 torchvision==0.4.0 -c pytorch

(国内用户可使用清华源加速：-c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/)

3. 克隆项目与安装其余依赖

git clone --recurse-submodules https://github.com/devendrachaplot/Neural-SLAM
cd Neural-SLAM
pip install -r requirements.txt

4. 数据集配置

项目需要 Habitat 格式的数据集。请在 Neural-SLAM/ 目录下创建 data 文件夹，结构如下：

Neural-SLAM/
  data/
    scene_datasets/
      gibson/
        Adrian.glb
        Adrian.navmesh
        ...
    datasets/
      pointnav/
        gibson/
          v1/
            train/
            val/
            ...

请参考 Habitat-API 数据下载指南 获取数据集文件。

5. 验证安装

运行以下命令验证环境和数据配置是否正确：

python main.py -n1 --auto_gpu_config 0 --split val

基本使用

方式一：从头训练

直接运行以下命令开始训练完整的 Active Neural SLAM 模型（探索任务）：

python main.py

方式二：使用预训练模型评估

如果您只想快速体验或评估效果，可下载预训练权重并进行评估。

1. 下载预训练模型:

mkdir pretrained_models
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1UK2hT0GWzoTaVR5lAI6i8o27tqEmYeyY' -O pretrained_models/model_best.global
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1A1s_HNnbpvdYBUAiw2y1JmmELRLfAJb8' -O pretrained_models/model_best.local
wget --no-check-certificate 'https://drive.google.com/uc?export=download&id=1o5OG7DIUKZyvi5stozSqRpAEae1F2BmX' -O pretrained_models/model_best.slam

(注：若无法访问 Google Drive，请手动下载上述 ID 对应的文件并放入 pretrained_models 目录)

2. 运行评估:

python main.py --split val --eval 1 --train_global 0 --train_local 0 --train_slam 0 \
--load_global pretrained_models/model_best.global \
--load_local pretrained_models/model_best.local \
--load_slam pretrained_models/model_best.slam

3. 可视化效果: 在评估命令后添加 -v 1 参数，即可实时查看智能体的观测画面、预测地图及姿态估计：

python main.py --split val --eval 1 --train_global 0 --train_local 0 --train_slam 0 \
--load_global pretrained_models/model_best.global \
--load_local pretrained_models/model_best.local \
--load_slam pretrained_models/model_best.slam \
-v 1