Flow

Flow 是一个用于交通微观仿真的深度强化学习和控制实验的计算框架。

请访问 我们的网站 以了解更多关于 Flow 在多种混合自动驾驶交通场景中的应用。此外，还有其他 成果与视频 可供查阅。

更多信息

• 文档
• 安装说明
• 教程
• Binder 构建（测试版）

技术问题

如果您发现任何 bug，请提交报告。否则，欢迎加入 Slack 上的 Flow 用户群！

如何参与

我们非常欢迎您的贡献。

• 请通过提交 GitHub 问题 来报告 bug 或提出改进建议。
• 使用 拉取请求 提交您的贡献。请为您的拉取请求使用 此模板。

引用 Flow

如果您在学术研究中使用 Flow，强烈建议您引用我们的论文：

C. Wu, A. Kreidieh, K. Parvate, E. Vinitsky, A. Bayen, “Flow: Architecture and Benchmarking for Reinforcement Learning in Traffic Control,” CoRR, vol. abs/1710.05465, 2017. [在线]. 可获取地址：https://arxiv.org/abs/1710.05465

如果您使用了其中的基准测试，也强烈建议您引用以下论文：

Vinitsky, E., Kreidieh, A., Le Flem, L., Kheterpal, N., Jang, K., Wu, F., ... & Bayen, A. M, 混合自动驾驶交通中的强化学习基准测试。载于机器人学习会议论文集（第 399–409 页）。可获取地址：http://proceedings.mlr.press/v87/vinitsky18a.html

贡献者

Flow 得到了加州大学伯克利分校 移动感知实验室 以及亚马逊 AWS 机器学习研究资助的支持。贡献者名单请参见 Flow 团队页面。

Flow 快速上手指南

Flow 是一个用于交通微观仿真中深度强化学习（Deep RL）和控制实验的计算框架。它支持混合自动驾驶交通场景的研究与基准测试。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux (Ubuntu 16.04/18.04) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python 版本：Python 3.6 - 3.8（具体版本取决于您选择的 Flow 发行版，建议参考官方文档确认最新兼容性）。
• 前置依赖：
  • git
  • pip (Python 包管理工具)
  • sumo (Simulation of Urban MObility，Flow 默认集成的交通仿真器)
  • ray (分布式计算框架，Flow 依赖项)

注意：Flow 强依赖特定的仿真器版本。官方推荐使用 conda 进行环境管理以避免依赖冲突。

安装步骤

推荐使用 Conda 创建隔离环境并进行安装。以下是标准安装流程：

1. 克隆仓库

   git clone https://github.com/flow-project/flow.git
   cd flow
   

2. 创建并激活 Conda 环境

   conda create -n flow python=3.7
   conda activate flow
   

3. 安装 Flow 及其依赖 在项目根目录下运行安装脚本，该脚本会自动处理 SUMO、Ray 及其他 Python 依赖的安装：

   ./setup.sh
   

   如果 setup.sh 没有执行权限，请先运行 chmod +x setup.sh。

4. 验证安装 安装完成后，您可以尝试导入库来验证：

   python -c "import flow; print('Flow installed successfully!')"
   

国内加速提示：如果下载依赖缓慢，可在运行 pip 相关命令时指定国内镜像源（如清华源）： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple (注：具体加速配置需根据 setup.sh 内部逻辑调整，或在安装后配置全局 pip 源)

基本使用

Flow 的核心工作流包括定义交通网络、设置车辆行为（人类驾驶或自动驾驶）、定义奖励函数以及训练强化学习代理。

以下是一个最简单的示例，展示如何运行一个预定义的基准测试脚本（例如在环形道路上训练自动驾驶车辆）：

1. 进入教程目录

   cd tutorials
   

2. 运行示例脚本 以下命令将启动一个基于 Ray 的强化学习训练任务，使用 PPO 算法在环形路网中进行训练：

   python ring_benchmark.py --rl_trainer ray --num_steps 1000
   

   参数说明：

   • --rl_trainer: 指定训练后端（如 ray 或 rllib）。
   • --num_steps: 训练的总步数（此处设为 1000 步以便快速测试）。

3. 查看结果 训练过程中，终端会输出实时的奖励值和交通指标。训练结束后，数据通常保存在 ~/ray_results 目录下，可使用 TensorBoard 查看可视化结果：

   tensorboard --logdir ~/ray_results
   

对于更复杂的自定义场景，请参考 tutorials 文件夹中的详细 Jupyter Notebook 教程，学习如何构建自定义路网 (Network) 和车辆控制器 (VehicleParams)。