SMARTS

SMARTS（可扩展多智能体强化学习训练平台）是一个用于多智能体强化学习（RL）和自动驾驶研究的仿真平台。其核心在于模拟真实且多样化的交互场景。它是华为诺亚方舟实验室 XingTian 强化学习平台套件的一部分。

更多详情请参阅论文：SMARTS: 面向自动驾驶的可扩展多智能体强化学习训练平台。

文档

1. 在 smarts.readthedocs.io 阅读文档 :notebook_with_decorative_cover: :fire:
2. 基础示例
3. 强化学习模型

问题、Bug 和功能请求

1. 首先，请阅读如何沟通问题、报告 Bug 和请求功能 这里。
2. 然后，请在 https://github.com/huawei-noah/SMARTS/issues 上使用合适的标签提交。

引用本工作

如果您在研究中使用了 SMARTS，请引用该论文：论文链接。BibTeX 格式如下：

@misc{SMARTS,
    title={SMARTS: 面向自动驾驶的可扩展多智能体强化学习训练平台},
    author={Ming Zhou and Jun Luo and Julian Villella and Yaodong Yang and David Rusu and Jiayu Miao and Weinan Zhang and Montgomery Alban and Iman Fadakar and Zheng Chen and Aurora Chongxi Huang and Ying Wen and Kimia Hassanzadeh and Daniel Graves and Dong Chen and Zhengbang Zhu and Nhat Nguyen and Mohamed Elsayed and Kun Shao and Sanjeevan Ahilan and Baokuan Zhang and Jiannan Wu and Zhengang Fu and Kasra Rezaee and Peyman Yadmellat and Mohsen Rohani and Nicolas Perez Nieves and Yihan Ni and Seyedershad Banijamali and Alexander Cowen Rivers and Zheng Tian and Daniel Palenicek and Haitham bou Ammar and Hongbo Zhang and Wulong Liu and Jianye Hao and Jun Wang},
    url={https://arxiv.org/abs/2010.09776},
    primaryClass={cs.MA},
    booktitle={第四届机器人学习大会（CoRL）论文集},
    year={2020},
    month={11}
}

SMARTS 快速上手指南

SMARTS (Scalable Multi-Agent Reinforcement Learning Training School) 是由华为诺亚方舟实验室开发的自动驾驶多智能体强化学习仿真平台，专注于提供真实且多样化的交互场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04 或更高版本)。虽然支持其他系统，但 Linux 是主要开发和测试环境。
• Python 版本: Python 3.7 - 3.9。
• 依赖管理: 建议使用 venv 或 conda 创建独立的虚拟环境。
• 图形界面: 如果需要可视化演示（Envision），需要支持 OpenGL 的环境。在无头服务器（Headless server）上运行时，需配置虚拟显示（如 xvfb）。

安装步骤

推荐使用 PyPI 进行安装。国内开发者可使用清华源或阿里源加速下载。

1. 创建并激活虚拟环境 (以 conda 为例)：

   conda create -n smarts-env python=3.8
   conda activate smarts-env
   

2. 安装 SMARTS：

   • 通用安装命令：

     pip install smarts
     

   • 使用国内镜像源加速安装 (推荐)：

     pip install smarts -i https://pypi.tuna.tsinghua.edu.cn/simple
     

3. 验证安装： 安装完成后，可在终端输入 smarts --help 检查命令行工具是否可用。

基本使用

SMARTS 提供了丰富的示例脚本。以下是运行一个基础自动驾驶场景的最简示例。

1. 运行基础示例： 使用内置的 smarts 命令行工具启动一个包含随机交通流的仿真场景，并开启可视化界面（Envision）：

   smarts run --headless False scenarios/intersections/4lane_t
   

   • --headless False: 开启图形化界面。若在服务器运行请改为 True。
   • scenarios/intersections/4lane_t: 指定要运行的场景路径（安装后示例场景通常位于包内或通过 smarts repo 命令获取）。

2. 通过 Python 代码调用： 您也可以在 Python 脚本中直接构建环境并进行单步仿真：

   from smarts.env import SmartSEnv
   
   # 初始化环境
   env = SmartSEnv(
       scenarios=["scenarios/intersections/4lane_t"],
       agent_specs={}, 
       headless=False,
       visdom=False,
       timestep_limit=1000,
   )
   
   # 重置环境
   observations = env.reset()
   
   # 简单的一步仿真循环
   for _ in range(10):
       actions = {agent_id: {"action": "keep_lane"} for agent_id in observations}
       observations, rewards, dones, infos = env.step(actions)
       
       if all(dones.values()):
           break
   
   env.close()
   

提示：更多详细的强化学习模型示例和高级用法，请参阅官方文档 smarts.readthedocs.io 中的 "Base examples" 和 "RL models" 章节。