NVIDIA Redtail 项目

使用深度学习（deep learning）实现无人机和地面车辆的自主视觉导航组件。有关如何入门的更多信息，请参阅 wiki。

本项目包含深度神经网络（Deep Neural Networks, DNNs）、计算机视觉与控制代码、硬件说明及其他相关资源，使用户能够构建可在高度非结构化环境（如森林小径、人行道等）中自主导航的无人机或地面车辆。我们的 TrailNet DNN 视觉导航模型运行在 NVIDIA Jetson 嵌入式平台上。我们的 arXiv 论文 详细描述了 TrailNet 及其他运行时模块。

项目中的深度神经网络（DNNs）可使用公开数据从零开始训练。本项目也提供了一些 预训练的 DNN 模型。如果你想从头开始训练 TrailNet DNN，请按照 此页面 上的步骤操作。

本项目还包含 Stereo DNN 模型及其运行时组件，可在 NVIDIA 平台上通过立体相机（stereo camera）估算深度信息。

IROS 2018：我们在 IROS 2018 会议上展示了本项目的工作，作为 Vision-based Drones: What's Next? 研讨会的一部分。

CVPR 2018：我们在 CVPR 2018 会议上展示了本项目的工作，作为 自动驾驶研讨会（Workshop on Autonomous Driving） 的一部分。

参考资料与演示视频

• Stereo DNN, CVPR18 论文，Stereo DNN 视频演示
• TrailNet 森林无人机导航, IROS17 论文，TrailNet DNN 视频演示
• GTC 2017 演讲：幻灯片，视频
• 演示视频：使用 TrailNet DNN 实现 250 米自主飞行
• 演示视频：使用 TrailNet DNN 实现 1 公里自主无人机飞行
• 演示视频：TrailNet DNN 驱动办公室内的机器人漫游车
• 演示视频：TrailNet DNN 在地面车辆及其他环境中的泛化能力

新闻动态

• 2020-02-03：替代实现方案
  redtail 项目已停止开发，但幸运的是社区成员接手并继续推进该项目。
  我们感谢所有用户对 redtail 的关注、提问与反馈！

  以下列出了一些替代实现方案：

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10：Stereo DNN ROS 节点及修复

  • 新增 Stereo DNN ROS 节点和可视化节点
  • 修复了 nvidia-docker v2 的问题

• 2018-09-19：Stereo DNN 更新

  • 升级至 TensorRT 4.0
  • 在 ResNet18 2D 模型中启用 FP16 支持，性能提升 2 倍（Jetson TX2 上达 20fps）
  • 在 ResNet18 2D 模型中启用 TensorRT 序列化，将模型加载时间从数分钟缩短至不到一秒
  • 改进日志记录和性能分析器支持

• 2018-06-04：CVPR 2018 研讨会；Stereo DNN 快速版

  • 在 CVPR 2018 会议的 自动驾驶研讨会（Workshop on Autonomous Driving） 上展示我们的工作
  • 新增基于 ResNet18 2D 模型的 Stereo DNN 快速版本，在 Jetson TX2 上运行速度达 10fps。详情请参阅 README，并查看更新后的 sample_app

• GTC 2018：GTC18 上的 Stereo DNN 专题页面 和 录制的视频演讲

• 2018-03-22：redtail 2.0

  • 新增 Stereo DNN 模型及推理库（TensorFlow/TensorRT）。详情请参阅 README
  • 迁移至 JetPack 3.2。此更新为 Jetson 平台引入了最新组件，包括 CUDA 9.0、cuDNN 7.0、TensorRT 3.0、OpenCV 3.3 等。请注意，这是一个破坏性变更（breaking change）
  • 新增 INT8 推理支持。这使得在具备 INT8 指令硬件加速的设备上可实现更快的推理。更多详情请参见 我们的 wiki

• 2018-02-15：新增对 TBS Discovery 平台的支持

  • 提供组装 TBS Discovery 无人机 的分步说明
  • 提供安装和使用 ZED 立体相机 的说明
  • 提供详细的校准、测试和飞行操作指南

• 2017-10-12：新增完整仿真 Docker 镜像，实验性支持 APM Rover，并支持 MAVROS v0.21+

  • Redtail 仿真 Docker 镜像包含在 Docker 中运行完整 Redtail 仿真所需的所有组件。更多信息请参阅 wiki
  • 实验性支持 APM Rover。更多信息请参阅 wiki
  • 其他多项更新，包括支持 MAVROS v0.21+、更新 Jetson 安装脚本及若干 bug 修复

• 2017-09-07：NVIDIA Redtail 项目作为开源项目正式发布
  Redtail 的 AI 模块可用于基于深度学习和 NVIDIA Jetson TX1/TX2 嵌入式系统构建自主无人机和移动机器人。
  源代码、预训练模型以及详细的构建和测试说明已在 GitHub 上发布。

• 2017-07-26：代码和脚本迁移至 JetPack 3.1 和 TensorRT 2.1
  TensorRT 2.1 在 DNN 推理性能方面有显著提升，并带来了新功能和 bug 修复。这是一个破坏性变更，需要使用 JetPack 3.1 重新刷写 Jetson 设备。

Redtail 快速上手指南

环境准备

Redtail 项目主要面向 NVIDIA Jetson 嵌入式平台（如 TX1/TX2），需满足以下条件：

• 硬件：NVIDIA Jetson TX1 或 TX2 开发板
• 系统：JetPack 3.2 或更高版本（包含 CUDA 9.0、cuDNN 7.0、TensorRT 3.0+、OpenCV 3.3+）
• 依赖：
  • ROS（推荐 Kinetic 或 Melodic）
  • MAVROS（v0.21+，用于无人机控制）
  • Docker（可选，用于仿真测试）
  • ZED 立体相机（如使用 Stereo DNN 功能）

💡 国内加速建议：
安装 JetPack 时可使用 NVIDIA 官方中国镜像（需注册开发者账号）或通过 清华镜像站 获取部分组件加速下载。

安装步骤

1. 克隆仓库（含子模块）：

   git clone --recursive https://github.com/NVIDIA-Jetson/redtail.git
   cd redtail
   

2. 安装 Jetson 端依赖（在 Jetson 设备上运行）：

   ./scripts/install_jetson.sh
   

3. （可选）构建仿真环境（在 x86 主机上）：

   docker pull nvidia/redtail-sim:latest
   

4. 下载预训练模型（位于 models/pretrained/ 目录）：

   wget -P models/pretrained/ https://github.com/NVIDIA-Jetson/redtail/raw/master/models/pretrained/trailnet_model.h5
   

⚠️ 注意：项目已于 2020 年停止官方维护，社区维护版本可参考 @mtbsteve/redtail。

基本使用

示例：运行 TrailNet 视觉导航（地面车辆）

1. 启动 ROS 核心：

   roscore
   

2. 在另一终端加载 TrailNet 模型并启动推理节点（假设使用 USB 摄像头）：

   rosrun trailnet_ros trailnet_node _model_file:=models/pretrained/trailnet_model.h5 _camera_topic:=/camera/image_raw
   

3. 发布控制指令（示例输出为转向角和速度）：

   rostopic echo /trailnet/cmd_vel
   

示例：运行 Stereo DNN 深度估计（需 ZED 相机）

1. 启动 ZED ROS 驱动：

   roslaunch zed_wrapper zed.launch
   

2. 启动 Stereo DNN 节点：

   rosrun stereo_dnn stereo_dnn_node _model_type:=resnet18_2d _use_fp16:=true
   

3. 查看深度图输出：

   rosrun image_view image_view image:=/stereo_dnn/disparity
   

更多详细配置请参考项目 Wiki。