PytorchAutoDrive：自动驾驶感知框架

PytorchAutoDrive 是一个 纯 Python 框架，包含基于 PyTorch 的语义分割模型和车道线检测模型。我们提供从研究（通过简单编写配置文件进行模型训练、测试和公平基准测试）到应用（可视化、模型部署）的全栈支持。

论文：通过曲线建模重新思考高效的车道线检测（CVPR 2022）

海报：PytorchAutoDrive：自动驾驶研究工具包与公平基准测试（PyTorch 开发者日 2021）

本仓库仍在积极开发中，已上传的模型结果是稳定的。对于使用旧版代码的用户，请查看 弃用说明 以了解变更。

ERFNet 的演示视频：

https://user-images.githubusercontent.com/32259501/148680744-a18793cd-f437-461f-8c3a-b909c9931709.mp4

亮点

多种方法适用于广泛的骨干网络，基于 配置文件 的实现，代码 模块化 且 易于理解，支持图像/关键点加载、数据增强及 可视化，提供 混合精度训练、TensorBoard 日志记录，并通过 ONNX 和 TensorRT 提供 部署支持。

本仓库中的模型训练速度更快（单卡即可训练），且性能通常优于其他实现。具体原因及各模型的技术规格请参阅 wiki。

支持的数据集：

任务	数据集
语义分割	PASCAL VOC 2012
语义分割	Cityscapes
语义分割	GTAV*
语义分割	SYNTHIA*
车道线检测	CULane
车道线检测	TuSimple
车道线检测	LLAMAS
车道线检测	BDD100K (正在进行中)

* 使用 UDA 基线设置，以 Cityscapes val 集合作为验证集。

支持的模型：

任务	骨干网络	模型/方法
语义分割	ResNet-101	FCN
语义分割	ResNet-101	DeeplabV2
语义分割	ResNet-101	DeeplabV3
语义分割	-	ENet
语义分割	-	ERFNet
车道线检测	ENet、ERFNet、VGG16、ResNet（18、34、50、101）、MobileNet（V2、V3-Large）、RepVGG（A0、A1、B0、B1g2、B2）、Swin（Tiny）	基线
车道线检测	ERFNet、VGG16、ResNet（18、34、50、101）、RepVGG（A1）	SCNN
车道线检测	ResNet（18、34、50、101）、MobileNet（V2、V3-Large）、ERFNet	RESA
车道线检测	ERFNet、ENet	SAD（已推迟）
车道线检测	ERFNet	PRNet（正在进行中）
车道线检测	ResNet（18、34、50、101）、ResNet18-reduced	LSTR
车道线检测	ResNet（18、34）	LaneATT
车道线检测	ResNet（18、34）	BézierLaneNet

模型库

我们在 MODEL_ZOO.md 中提供了可靠的结果（平均/最佳/详细）、训练时间、Shell 脚本以及可供下载的已训练模型。

安装

请按照 INSTALL.md 准备环境和代码。然后根据 DATASET.md 中的说明设置数据集。

快速入门

关于车道线检测，请参阅 LANEDETECTION.md。

关于语义分割，请参阅 SEGMENTATION.md。

可视化工具

有关图像和视频输入的可视化与推理教程，请参阅 VISUALIZATION.md。

基准测试工具

有关基准测试教程，包括每种支持模型的 FPS 测试、FLOPs 和内存占用统计，请参阅 BENCHMARK.md。

部署

有关 ONNX 和 TensorRT 部署支持，请参阅 DEPLOY.md。

高级教程

有关高级用例及如何在 PytorchAutoDrive 中编写代码，请参阅 ADVANCED_TUTORIAL.md。

贡献

有关贡献指南，请参阅 CONTRIBUTING.md。

引用

如果您认为本框架对您的研究有重大帮助，或希望在使用我们的成果时引用，请引用以下发表 PytorchAutoDrive 正式版本的论文：

@inproceedings{feng2022rethinking,
  title={Rethinking efficient lane detection via curve modeling},
  author={Feng, Zhengyang and Guo, Shaohua and Tan, Xin and Xu, Ke and Wang, Min and Ma, Lizhuang},
  booktitle={计算机视觉与模式识别会议},
  year={2022}
}

致谢：

PytorchAutoDrive 由 Zhengyang Feng（voldemortX）和 Shaohua Guo（cedricgsh）维护。

贡献者（GitHub ID）：kalkun、LittleJohnKhan、francis0407、PannenetsF、bjzhb666

赞助我们的人士（例如提供硬件支持）：Lizhuang Ma、Xin Tan、Junshu Tang（junshutang）、Fengqi Liu（FengqiLiu1221）

PytorchAutoDrive 快速上手指南

PytorchAutoDrive 是一个基于 PyTorch 的纯 Python 自动驾驶感知框架，支持语义分割和车道线检测任务。它提供从模型训练、测试、公平基准评测到可视化及模型部署（ONNX/TensorRT）的全栈支持。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04) 或 Windows (部分功能可能受限)。
• Python: 3.6 及以上版本。
• 深度学习框架: PyTorch 1.7+ (建议匹配对应的 CUDA 版本)。
• 硬件: 支持 CUDA 的 NVIDIA GPU (单卡即可训练)。
• 前置依赖:
  • opencv-python
  • tensorboard
  • scikit-image
  • tqdm
  • yacs (用于配置管理)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

请按照以下步骤克隆代码并配置环境：

1. 克隆仓库

   git clone https://github.com/voldemortX/pytorch-auto-drive.git
   cd pytorch-auto-drive
   

2. 安装依赖 根据官方文档 docs/INSTALL.md 的指引，安装核心依赖包。如果项目中包含 requirements.txt，可直接运行：

   pip install -r requirements.txt
   

   (注：若需使用 TensorRT 部署，请额外参考 docs/DEPLOY.md 安装对应版本的 TensorRT)

3. 数据集准备 框架支持 Cityscapes, CULane, TuSimple 等主流数据集。请下载相应数据集并按照 docs/DATASET.md 中的目录结构进行整理。

   例如，对于 Cityscapes 数据集，典型的结构如下：

   datasets/
   └── cityscapes/
       ├── leftImg8bit/
       │   ├── train/
       │   ├── val/
       │   └── test/
       └── gtFine/
           ├── train/
           ├── val/
           └── test/
   

3. 基本使用

PytorchAutoDrive 采用配置文件驱动的方式，无需修改代码即可切换模型、数据集和超参数。

场景一：车道线检测 (Lane Detection)

以在 CULane 数据集上训练一个基于 ERFNet 的基线模型为例：

1. 查看配置文件： 配置文件位于 configs/lane_detection/ 目录下。

2. 启动训练： 使用提供的训练脚本，指定配置文件路径：

   python train_lane.py --config configs/lane_detection/baseline/culane_erfnet.py
   

3. 模型评估： 训练完成后，使用测试脚本评估模型性能：

   python test_lane.py --config configs/lane_detection/baseline/culane_erfnet.py --model path/to/your/best_model.pth
   

场景二：语义分割 (Semantic Segmentation)

以在 Cityscapes 数据集上训练 DeeplabV3 为例：

1. 启动训练：

   python train_seg.py --config configs/semantic_segmentation/deeplabv3/cityscapes_deeplabv3_res101.py
   

2. 模型评估：

   python test_seg.py --config configs/semantic_segmentation/deeplabv3/cityscapes_deeplabv3_res101.py --model path/to/your/best_model.pth
   

可视化与推理

要对单张图片或视频进行推理并可视化结果，请参考 docs/VISUALIZATION.md。基本命令示例如下：

python demo.py --config <your_config_path> --model <your_model_path> --input_path <image_or_video_path>

模型导出 (部署)

支持将训练好的模型导出为 ONNX 格式，以便后续转换为 TensorRT 引擎：

python export_onnx.py --config <your_config_path> --model <your_model_path> --output <output.onnx>

---

更多高级用法（如混合精度训练、自定义 Backbone、FLOPs 统计等）请参阅项目根目录下的 docs/ADVANCED_TUTORIAL.md 和 docs/BENCHMARK.md。