DeepTraffic: MIT 深度强化学习竞赛

DeepTraffic - 可视化 - 排行榜 - 文档 - 论文 - MIT 深度学习 [ GitHub | 网站 ]

DeepTraffic 是作为 MIT 深度学习 课程一部分举办的深度强化学习（deep reinforcement learning）竞赛。目标是创建一个神经网络（neural network），使其能够在密集的高速公路交通中尽可能快地驾驶车辆（或多辆车辆）。排行榜前 10 名的提交将显示在 排行榜 上，您将能够以以下方式 可视化 您的提交：

如果您在研究中发现该工作有用，请引用 DeepTraffic 论文：

@inproceedings{fridman2018deeptraffic,
author = {Lex Fridman and Jack Terwilliger and Benedikt Jenik},
title = {DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation},
booktitle = {Neural Information Processing Systems (NIPS 2018) Deep Reinforcement Learning Workshop}
year = {2018},
url = {http://arxiv.org/abs/1801.02805},
doi = {10.5281/zenodo.2530457}
archivePrefix = {arXiv},
}

要立即开始，本仓库提供了一段代码片段，可插入到 DeepTraffic 网站 的代码框中。随着课程的进展，我们将添加更多智能体（agents）：

network_basic.js：一个基础网络，可达到约 66.8 英里/小时的速度。

现在让我们回到交通问题：

问题陈述：交通状况糟糕

"只要不影响交通，美国人什么都能忍受。" —— Dan Rather

"交通让人精神崩溃。" —— Elon Musk

仅在美国，我们每年就花费 69 亿小时坐在交通拥堵中 [1] —— 大约相当于 10,000 个人一生的时间 [2]。自动驾驶汽车（autonomous vehicles）将能够缓解部分（但不是全部）问题。它们已经在减少幽灵交通拥堵（phantom traffic jams）方面显示出潜力 [3,4]。

我们设计 DeepTraffic 的目的是让人们（从初学者到专家）探索自动驾驶车辆的运动规划算法（motion planning algorithms）设计，并激励下一代交通工程的发展。我们感谢数千名提交解决方案并积极参与的参赛者。

DeepTraffic 布局

游戏页面由四个不同的区域组成：

• 在左侧，您可以找到道路的实时模拟，具有不同的显示选项。

• 在页面的上半部分，您可以找到（1）一个代码编辑区域（coding area），您可以在其中更改控制智能体（agents）的神经网络设计，以及（2）一些用于应用更改、保存/加载和提交结果的按钮。

• 在代码编辑区域下方，您可以找到（1）显示中央红色车辆奖励（reward）移动平均值的图表，（2）神经网络激活（activations）的可视化，以及（3）用于训练和测试网络的按钮。

• 在模拟道路和图表之间，您可以找到您车辆的当前图像以及一些自定义选项，用于创建您最佳提交的可视化效果。

模拟区域显示一些基本信息，如汽车的当前速度以及自您打开网站以来已超越的车辆数量。它还允许您更改模拟的显示方式。

DeepTraffic 模拟与游戏

简而言之，DeepTraffic 是一个游戏，在其中您（参赛者）设计自己的运动规划算法（motion planning algorithm），以便在密集的交通中尽可能快地驾驶车辆。

您的算法将在一条 7 车道的高速公路上运行。道路上有 20 辆车。您的算法控制其中一些车辆，游戏控制其他车辆。

每个自主智能体（autonomous agent）都运行您的算法的一个副本。每 30 帧，您的算法从 5 个动作中选择 1 个：

1. 加速（accelerate）
2. 减速（decelerate）
3. 变换到左侧车道
4. 变换到右侧车道
5. 什么都不做（do nothing），即在当前车道保持速度。

您的算法将接收一个占用网格（occupancy grid）作为输入，表示智能体周围的自由空间。未被占用的单元格值设置为 80 英里/小时。被占用的单元格值设置为占用车辆的速度。例如，这是一个占用网格（occupancy grid）(lanesSide = 1; patchesAhead = 10)：

DeepTraffic 的动力学有一些特殊之处：

安全系统

每辆车都有一个防止其与其他车辆碰撞的安全系统（safety system）。这对您设计算法有两个影响。首先，您的算法不需要考虑碰撞避免（collision avoidance）。其次，当安全系统被激活时，您的路径将被覆盖。

例如，在这里，红色汽车无法加速或变换到右侧车道，因为碰撞避免系统（collision avoidance system）已检测到前方有车辆：

一辆位于另一辆车后方 4 个单元格的车辆将立即减速以匹配前方车辆的速度，无论其算法试图做什么。（见上图）

一辆在另一辆车旁边行驶的车辆将无法变换到邻车的车道，直到有足够的间隙，无论其算法试图做什么。（见上图）

多智能体

在 2.0 版本（当前版本）中，您可以选择在 11 辆车上部署您的算法的一个副本。您的算法不会进行多智能体规划（multi-agent planning），而是每辆车做出贪婪选择（greedy choice）。挑战在于设计一个算法，在控制多辆车时不会妨碍自己。

高速公路的尽头

DeepTraffic 只跟随其中一辆车（自车，ego vehicle），因此您会注意到当某些车辆比自车开得慢或快时，它们会从高速公路上消失。这些车辆会发生什么？

当车辆从道路上消失时，它们会在高速公路的另一端被新车辆取代。当车辆被替换时，其速度和车道将被随机选择。

超参数

要在 DeepTraffic 中使用 DQN（Deep Q-Network，深度 Q 网络）取得好成绩，你必须选择好的超参数。这可能很棘手，因为 (1) 完整的超参数空间相当大，(2) 网络越大，训练所需的时间就越长，这意味着你能探索的超参数空间就越少。因此，在训练前了解改变超参数将如何影响性能是很有帮助的。

结果

进展

下图展示了比赛随时间推移的进展情况：

提交的结构

下面是一个 t-SNE（t-分布随机邻域嵌入）图。该图将原本在向量空间中的提交（此空间涵盖 patchesAhead、patchesBehind、l2_decay、layer_count、gamma、learning_rate、lanesSide、train_iterations 等维度）映射到二维空间，同时保留邻近点的关系结构。每个点的颜色对应提交的分数。这张图的一个有趣特征是出现了几个聚类——参赛者找到了相似的解决方案。

帮助与文档

查看文档页面以获取更多详情、提示以及如何向比赛提交。

团队

• Lex Fridman (Twitter)
• Jack Terwilliger
• Benedikt Jenik

参考文献

• [1] https://static.tti.tamu.edu/tti.tamu.edu/documents/mobility-scorecard-2015.pdf
• [2] (6.9 * 1000000000) / (75 * 365 * 24)
• [3] Horn, Berthold KP. "Suppressing traffic flow instabilities." Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. IEEE, 2013. https://people.csail.mit.edu/bkph/articles/Suppressing_Traffic_Flow%20Instabilities_IEEE_ITS_2013.pdf
• [4] Stern, Raphael E., et al. "Dissipation of stop-and-go waves via control of autonomous vehicles: Field experiments." Transportation Research Part C: Emerging Technologies 89 (2018): 205-221. https://arxiv.org/pdf/1705.01693.pdf
• [5] https://link.springer.com/content/pdf/10.1007/BF00992698.pdf

DeepTraffic 快速上手指南

DeepTraffic 是 MIT 推出的浏览器端深度强化学习竞赛平台，通过设计神经网络控制车辆在密集交通中高速行驶。

环境准备

• 现代浏览器：Chrome/Firefox 最新版
• 网络连接：可访问 https://selfdrivingcars.mit.edu/deeptraffic/
• 基础知识：JavaScript 与强化学习基础

安装步骤

无需本地安装，完全在线运行。

1. 访问竞赛网站

   https://selfdrivingcars.mit.edu/deeptraffic/
   

2. 复制基础代码 打开本仓库的 network_basic.js 文件，复制全部代码。

3. 粘贴到编辑器 在网站左侧代码框中粘贴，替换默认代码。

基本使用

训练与测试

1. 点击 Apply 应用代码更改
2. 点击 Train 开始训练（观察右侧奖励曲线）
3. 点击 Test 评估性能（查看平均速度）
4. 点击 Submit to Leaderboard 提交成绩

核心配置

基础代码已实现约 66.8 mph 速度。关键可调参数：

• learning_rate: 学习率
• gamma: 折扣因子
• layers: 网络层结构
• lanesSide/patchesAhead/patchesBehind: 感知范围

可视化

训练完成后，可在 可视化页面 查看你的提交记录行驶动画。

完整参数说明：官方文档