AutoRCCar

Python3 + OpenCV3

查看自动驾驶的实际运行效果

本项目利用树莓派、Arduino及开源软件构建了一辆自动驾驶遥控小车。树莓派通过摄像头模块和超声波传感器采集数据，并将这些数据无线传输至电脑端。电脑端对输入的图像和传感器数据分别进行处理，用于物体检测（停车标志和交通信号灯）以及避障。电脑上运行一个神经网络模型，根据输入图像预测转向角度，随后将预测结果发送至Arduino以控制遥控小车的行驶。

使用Anaconda搭建环境

1. 在您的电脑上安装miniconda(Python3)

2. 创建包含本项目所需所有库的auto-rccar环境
   conda env create -f environment.yml

3. 激活auto-rccar环境
   source activate auto-rccar

  若要退出环境，只需关闭终端窗口即可。更多关于管理Anaconda环境的信息，请参阅这里。

文件说明

test/
    rc_control_test.py: 使用键盘控制遥控小车
    stream_server_test.py: 从树莓派向电脑端进行视频流传输
    ultrasonic_server_test.py: 从树莓派向电脑端传输传感器数据
    model_train_test/
        data_test.npz: 示例数据
        train_predict_test.ipynb: 一个Jupyter Notebook，演示如何在OpenCV3中使用神经网络模型

raspberryPi/
    stream_client.py: 将视频帧以JPEG格式流式传输到主机电脑
    ultrasonic_client.py: 将传感器测得的距离数据发送到主机电脑

arduino/
    rc_keyboard_control.ino: 控制遥控小车的舵机

computer/
    cascade_xml/
        训练好的级联分类器
    chess_board/
        用于标定的棋盘图像，由树莓派摄像头拍摄

    picam_calibration.py: 树莓派摄像头标定
    collect_training_data.py: 收集灰度图像，数据保存为*.npz文件
    model.py: 神经网络模型
    model_training.py: 模型训练与验证
    rc_driver_helper.py: 为rc_driver.py提供辅助类和函数
    rc_driver.py: 接收来自树莓派的数据，并根据模型预测控制遥控小车
    rc_driver_nn_only.py: 简化版的rc_driver.py，不包含物体检测功能

Traffic_signal
    交通信号灯相关代码由@geek111贡献

如何驾驶

1. 测试阶段: 将rc_keyboard_control.ino烧录到Arduino，并运行rc_control_test.py以键盘控制遥控小车。在电脑端运行stream_server_test.py，同时在树莓派上运行stream_client.py来测试视频流传输。同样地，可以使用ultrasonic_server_test.py和ultrasonic_client.py来测试传感器数据的传输。

2. 树莓派摄像头标定（可选）: 使用树莓派摄像头模块从不同角度拍摄多张棋盘图像，并将这些图像放入**chess_board**文件夹中，然后运行picam_calibration.py。返回的相机矩阵参数将在rc_driver.py中使用。

3. 收集训练/验证数据: 首先运行collect_training_data.py，然后在树莓派上运行stream_client.py。按下方向键控制遥控小车，按q键退出。只有在有按键操作时才会保存帧。退出后，数据将被保存到新创建的**training_data**文件夹中。

4. 神经网络训练: 运行model_training.py来训练神经网络模型。您可以自由调整模型架构或参数以获得更好的效果。训练完成后，模型将被保存到新创建的**saved_model**文件夹中。

5. 级联分类器训练（可选）: **cascade_xml**文件夹中已包含训练好的停车标志和交通信号灯分类器。如果您有兴趣训练自己的分类器，请参考OpenCV文档以及这篇优秀的教程。

6. 自动驾驶运行: 首先运行rc_driver.py启动电脑端的服务程序（若使用简化版无物体检测版本，则运行rc_driver_nn_only.py），然后在树莓派上分别运行stream_client.py和ultrasonic_client.py。

中文文档 (感谢zhaoying9105)

AutoRCCar 快速上手指南

AutoRCCar 是一个基于 Raspberry Pi、Arduino 和开源软件构建的自动驾驶遥控车项目。它利用摄像头和超声波传感器采集数据，通过计算机上的神经网络模型进行物体检测（如停止标志、交通灯）和避障决策，最终控制车辆行驶。

环境准备

在开始之前，请确保你拥有以下硬件和软件环境：

硬件要求

• 计算机：用于运行神经网络模型和处理图像（支持 Python3）。
• Raspberry Pi：配备摄像头模块和超声波传感器，负责数据采集与无线传输。
• Arduino：用于接收指令并控制 RC 车的电机。
• RC 遥控车底盘：可改装的遥控车模型。

软件依赖

• 操作系统：计算机端推荐 Linux (Ubuntu) 或 macOS；树莓派需安装 Raspbian。
• 核心工具：
  • Python 3
  • Anaconda / Miniconda（推荐用于管理依赖）
  • OpenCV 3
  • Arduino IDE（用于烧录固件）

提示：国内用户安装 Miniconda 时，建议配置清华或中科大镜像源以加速下载。

安装步骤

本项目推荐使用 Conda 管理虚拟环境，以确保依赖库版本一致。

1. 安装 Miniconda 访问 Miniconda 官网 下载适用于你系统的 Python3 版本安装包并完成安装。

   国内加速建议：若下载缓慢，可使用清华大学开源软件镜像站提供的安装包。

2. 创建项目环境 在项目根目录下，使用提供的 environment.yml 文件创建名为 auto-rccar 的虚拟环境：

   conda env create -f environment.yml
   

3. 激活环境 安装完成后，激活该环境即可开始使用：

   source activate auto-rccar
   

   注：退出环境只需关闭终端窗口，或使用 source deactivate。

4. 硬件固件烧录 使用 Arduino IDE 打开 arduino/rc_keyboard_control.ino 文件，将其烧录至 Arduino 开发板。

基本使用

以下是让小车跑起来的最简流程，涵盖测试、数据采集、模型训练及自动驾驶启动。

1. 基础功能测试

在正式自动驾驶前，先验证硬件通信是否正常。

• 键盘控车测试：运行以下脚本，通过键盘方向键控制小车：

  python test/rc_control_test.py
  

• 视频流测试：
  • 计算机端启动服务：python test/stream_server_test.py
  • 树莓派端推流：python raspberryPi/stream_client.py
• 传感器数据测试：
  • 计算机端：python test/ultrasonic_server_test.py
  • 树莓派端：python raspberryPi/ultrasonic_client.py

2. 采集训练数据

你需要驾驶小车收集图像数据来训练神经网络。

• 计算机端运行采集脚本：

  python collect_training_data.py
  

• 树莓派端启动推流：

  python raspberryPi/stream_client.py
  

• 操作：在计算机端使用键盘方向键驾驶小车。程序仅在按键时保存当前帧图像。按 q 键退出，数据将自动保存至新生成的 training_data 文件夹。

3. 训练神经网络模型

使用采集到的数据训练模型：

python model_training.py

训练完成后，模型文件将保存在 saved_model 文件夹中。你可根据需要调整 model.py 中的网络结构以获得更好效果。

4. 启动自动驾驶

一切就绪后，开始自动驾驶体验：

• 计算机端（启动主控程序）：

  python rc_driver.py
  

  (若不需要物体检测功能，可运行简化版：python rc_driver_nn_only.py)

• 树莓派端（同时运行以下两个脚本）：

  python raspberryPi/stream_client.py
  python raspberryPi/ultrasonic_client.py
  

此时，小车将根据摄像头画面和传感器数据自动行驶、避障及识别交通信号。