Pylot 是一个用于开发和测试自动驾驶车辆组件（例如感知、预测、规划）的平台，可在 CARLA 模拟器和真实世界车辆上运行。

• 设置说明
• 文档
• Pylot 组件
• 数据采集
• 构建 Docker 镜像
• CARLA 自动驾驶挑战赛
• 参与方式

设置说明

使用 Docker 部署

运行 Pylot 最简单的方式是使用我们的 Docker 镜像。在开始安装 Pylot 之前，请确保您的机器上已安装 nvidia-docker。如果没有安装 nvidia-docker，请运行 ./scripts/install-nvidia-docker.sh。

我们提供了一个包含 Pylot 和 CARLA 的预配置 Docker 镜像。

docker pull erdosproject/pylot
nvidia-docker run -itd --name pylot -p 20022:22 erdosproject/pylot /bin/bash

接下来，在容器中启动模拟器：

nvidia-docker exec -i -t pylot /home/erdos/workspace/pylot/scripts/run_simulator.sh

最后，在容器中启动 Pylot：

nvidia-docker exec -i -t pylot /bin/bash
cd ~/workspace/pylot/
python3 pylot.py --flagfile=configs/detection.conf

可视化组件输出

如果您希望可视化不同组件的输出（例如边界框），则需要将 X 显示转发到容器中。首先，将您的公钥添加到容器中的 ~/.ssh/authorized_keys 文件中：

nvidia-docker cp ~/.ssh/id_rsa.pub pylot:/home/erdos/.ssh/authorized_keys
nvidia-docker exec -i -t pylot sudo chown erdos /home/erdos/.ssh/authorized_keys
nvidia-docker exec -i -t pylot sudo service ssh start

最后，通过 X 转发登录到容器：

ssh -p 20022 -X erdos@localhost
cd /home/erdos/workspace/pylot/
python3 pylot.py --flagfile=configs/detection.conf --visualize_detected_obstacles

如果一切正常，您应该能够看到如下所示的可视化效果：

手动安装说明

或者，您也可以通过以下步骤在本地系统上安装 Pylot：

./install.sh
pip install -e ./

接下来，启动模拟器：

export CARLA_HOME=$PYLOT_HOME/dependencies/CARLA_0.9.10.1/
./scripts/run_simulator.sh

在另一个终端中，设置路径：

export CARLA_HOME=$PYLOT_HOME/dependencies/CARLA_0.9.10.1/
cd $PYLOT_HOME/scripts/
source ./set_pythonpath.sh

最后，运行 Pylot：

cd  $PYLOT_HOME/
python3 pylot.py --flagfile=configs/detection.conf

Pylot 组件

Pylot 包含多个组件：障碍物检测、交通信号灯检测、车道检测、障碍物跟踪、定位、分割、融合、预测、规划器和控制。每个组件都由一个或多个 ERDOS 算子实现，可以单独运行，也可以与整个 Pylot 应用程序一起运行。有关更详细的描述，请参阅 文档。

运行以下命令以查看所有组件以及 Pylot 驾驶策略的演示：

python3 pylot.py --flagfile=configs/demo.conf

该演示将执行：障碍物检测、交通信号灯检测、分割、预测、规划以及驾驶策略。

---

您也可以单独运行各个组件：

障碍物检测

Pylot 支持三种目标检测模型：frcnn_resnet101、ssd-mobilenet-fpn-640 和 ssdlite-mobilenet-v2。以下命令可单独运行检测器：

python3 pylot.py --flagfile=configs/detection.conf

如果您想评估检测器性能（即计算 mAP），可以运行：

python3 pylot.py --flagfile=configs/detection.conf --evaluate_obstacle_detection

如果您对我们的障碍物检测器精度不满意，可以运行其完美版本：

python3 pylot.py --flagfile=configs/perfect_detection.conf

如果检测器未能达到您期望的频率，或者您希望跨帧跟踪障碍物，可以结合检测器和跟踪器运行：

python3 pylot.py --flagfile=configs/tracking.conf

交通信号灯检测

Pylot 使用独立的组件进行交通信号灯的检测和分类。以下命令可单独运行该组件：

python3 pylot.py --flagfile=configs/traffic_light.conf

如果您需要更高的精度，可以通过传递 --perfect_traffic_light_detection 标志来运行完美版交通信号灯检测。

车道检测

python3 pylot.py --flagfile=configs/lane_detection.conf

障碍物跟踪

python3 pylot.py --flagfile=configs/tracking.conf

分割

要单独运行 Pylot 的分割组件，请执行以下命令：

python3 pylot.py --flagfile=configs/segmentation.conf

同样地，如果您希望获得理想的像素语义分割，可以传递 --perfect_segmentation 标志。

预测

Pylot 提供一个简单的线性预测组件：

python3 pylot.py --flagfile=configs/prediction.conf

规划

规划组件提供两种规划选项，可通过 --planning_type 标志指定：

1. waypoint：一种简单的规划器，遵循预定义的航点。这些航点可以是预先指定的，也可以使用 CARLA 模拟器地图中的 A* 规划器计算得出。该规划器会确保自车遵守交通信号灯规则，并在前方有障碍物时停车，但不执行避障操作。
2. frenet_optimal_trajectory：Frenet 最优轨迹规划器。
3. rrt_star：快速随机树规划器。
4. hybrid_astar：混合 A* 规划器。

# 运行 Frenet 最优轨迹规划器。
python3 pylot.py --flagfile=configs/frenet_optimal_trajectory_planner.conf

# 运行 RRT* 规划器。
python3 pylot.py --flagfile=configs/rrt_star_planner.conf

# 运行混合 A* 规划器。
python3 pylot.py --flagfile=configs/hybrid_astar_planner.conf

控制

Pylot 支持三种控制器，可以通过 control 标志来指定：

1. pid：使用 PID 控制器跟踪由规划组件计算出的航点。
2. mpc：使用模型预测控制来实现速度控制和航点跟踪。
3. simulator_auto_pilot：使用模拟器自动驾驶仪沿着预定义路线行驶。该控制器独立于其他组件的输出运行。

你可以通过以下命令运行所有组件以及其中一种策略：

# 使用我们实现的算法和训练的模型运行所有组件：
python3 pylot.py --flagfile=configs/e2e.conf
# 运行 MPC：
python3 pylot.py --flagfile=configs/mpc.conf
# 运行模拟器自动驾驶仪：
python3 pylot.py --control=simulator_auto_pilot

调试日志

如果你需要调试应用程序，可以通过在命令中添加 --log_file_name=pylot.log --v=1 来启用额外的日志记录。

数据收集

Pylot 还提供了一个用于收集 CARLA 数据的脚本，包括：RGB 图像、分割图像、障碍物 2D 边界框、深度帧、点云、交通信号灯、障碍物轨迹以及 Chauffeur 格式的数据。

运行 python3 data_gatherer.py --help 可以查看可以收集哪些数据。或者，你也可以查看这个 配置文件 以了解数据收集设置的示例。

构建你自己的 Docker 镜像

如果你想基于最新代码构建自己的镜像，可以执行以下命令：

cd docker
./build_images.sh

该脚本会创建两个 Docker 镜像：一个包含 CARLA 模拟器，另一个包含 ERDOS 和 Pylot。

CARLA 自动驾驶挑战赛

Pylot 也可以用作在 CARLA 的 Leaderboard（排行榜）路线上运行的基线。我们提供了一个智能体，它为感知（例如检测、跟踪）、定位（扩展卡尔曼滤波器）、预测、规划（例如航点跟踪器、Frenet 最优轨迹、RRT*、Hybrid A*）和控制提供了参考实现。

要测试这个智能体，你可以拉取我们已经安装好所有必要软件的镜像：

docker pull erdosproject/pylot-carla-challenge
nvidia-docker run -itd --name pylot-challenge -p 20022:22 erdosproject/pylot-carla-challenge /bin/bash

或者，你也可以按照以下步骤手动在你的机器上安装依赖项：

mkdir challenge
export CHALLENGE_ROOT=`pwd`
# 克隆挑战赛排行榜仓库。
git clone -b stable --single-branch https://github.com/carla-simulator/leaderboard.git
export LEADERBOARD_ROOT=${CHALLENGE_ROOT}/leaderboard/
cd ${LEADERBOARD_ROOT} ; pip3 install -r requirements.txt ; cd ${CHALLENGE_ROOT}
# 克隆 CARLA 场景运行器仓库。这是排行榜所使用的。
git clone -b leaderboard --single-branch https://github.com/carla-simulator/scenario_runner.git
export SCENARIO_RUNNER_ROOT=${CHALLENGE_ROOT}/scenario_runner/
cd ${SCENARIO_RUNNER_ROOT} ; pip3 install -r requirements.txt ; cd ${CHALLENGE_ROOT}
# 切换到 CARLA 挑战分支。
cd ${PYLOT_HOME} ; git checkout -b challenge origin/challenge
export CARLA_ROOT=CARLA 0.9.10.1 的路径。
cd ${CHALLENGE_ROOT}
export TEAM_CODE_ROOT=${PYLOT_HOME} ; ${LEADERBOARD_ROOT}/scripts/make_docker.sh

关于 Pylot CARLA 挑战赛智能体的说明

与常规 Pylot 类似，挑战赛智能体 不仅连接了不同的参考实现，还提供了在不同配置下测试它们的选项（例如，在完美感知条件下测试预测、规划和控制）。这可以通过根据 Pylot 文档中的规范修改 挑战配置文件 中的标志来实现。

更多信息

欲了解更多关于 Pylot 背后的理念，请参阅我们的论文， 《Pylot：一个用于探索自动驾驶车辆延迟-精度权衡的模块化平台》（IEEE）（arXiv）。 如果你认为 Pylot 对你的工作有帮助，请按以下方式引用我们的论文：

@inproceedings{gog2021pylot,
  title={Pylot: A modular platform for exploring latency-accuracy tradeoffs in autonomous vehicles},
  author={Gog, Ionel and Kalra, Sukrit and Schafhalter, Peter and Wright, Matthew A and Gonzalez, Joseph E and Stoica, Ion},
  booktitle={2021 IEEE International Conference on Robotics and Automation (ICRA)},
  pages={8806--8813},
  year={2021},
  organization={IEEE}
}

参与方式

• Slack 社区：加入我们的 Slack 社区，参与开发讨论、使用问题交流以及功能请求。
• Github Issues：用于报告 bug。

Pylot 快速上手指南

Pylot 是一个用于开发和测试自动驾驶组件（如感知、预测、规划）的开源平台，支持在 CARLA 仿真器和真实车辆上运行。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• GPU 驱动: 必须安装 NVIDIA 显卡驱动
• 核心依赖:
  • Docker
  • nvidia-docker (至关重要，用于容器内 GPU 加速)
  • Python 3
• 前置检查: 确保机器已安装 nvidia-docker。若未安装，可运行项目提供的脚本：

  ./scripts/install-nvidia-docker.sh
  

安装步骤

推荐使用 Docker 方式部署，这是最简便且环境隔离最好的方法。

1. 拉取并启动 Docker 容器

拉取包含 Pylot 和 CARLA 的预配置镜像，并启动容器：

docker pull erdosproject/pylot
nvidia-docker run -itd --name pylot -p 20022:22 erdosproject/pylot /bin/bash

2. 启动 CARLA 仿真器

在容器内部启动仿真器服务：

nvidia-docker exec -i -t pylot /home/erdos/workspace/pylot/scripts/run_simulator.sh

3. 运行 Pylot

在新终端或当前终端进入容器，执行 Pylot 主程序（以障碍物检测配置为例）：

nvidia-docker exec -i -t pylot /bin/bash
cd ~/workspace/pylot/
python3 pylot.py --flagfile=configs/detection.conf

注：若需手动安装在本地系统而非 Docker，请执行 ./install.sh 和 pip install -e ./，并确保 CARLA_HOME 环境变量指向正确的 CARLA 版本 (0.9.10.1)。

基本使用

运行完整演示

运行以下命令即可启动包含障碍物检测、交通灯识别、分割、预测、规划和控制策略的完整演示流程：

python3 pylot.py --flagfile=configs/demo.conf

可视化组件输出

若需在本地窗口查看检测结果（如边界框），需开启 X11 转发。

1. 配置 SSH 密钥（将公钥复制到容器中）：

   nvidia-docker cp ~/.ssh/id_rsa.pub pylot:/home/erdos/.ssh/authorized_keys
   nvidia-docker exec -i -t pylot sudo chown erdos /home/erdos/.ssh/authorized_keys
   nvidia-docker exec -i -t pylot sudo service ssh start
   

2. SSH 登录并运行（带 -X 参数开启图形转发）：

   ssh -p 20022 -X erdos@localhost
   cd /home/erdos/workspace/pylot/
   python3 pylot.py --flagfile=configs/detection.conf --visualize_detected_obstacles
   

独立运行特定组件

Pylot 支持模块化运行，以下是常用组件的启动命令：

• 障碍物检测:

  python3 pylot.py --flagfile=configs/detection.conf
  

• 交通灯检测:

  python3 pylot.py --flagfile=configs/traffic_light.conf
  

• 车道线检测:

  python3 pylot.py --flagfile=configs/lane_detection.conf
  

• Frenet 最优轨迹规划:

  python3 pylot.py --flagfile=configs/frenet_optimal_trajectory_planner.conf
  

• 端到端全流程 (含 MPC 控制):

  python3 pylot.py --flagfile=configs/mpc.conf
  

调试模式

如需查看详细日志进行调试，可添加以下参数：

python3 pylot.py --flagfile=configs/detection.conf --log_file_name=pylot.log --v=1