NeurIPS 2019：学会运动——四处行走

本仓库包含参与 NeurIPS 2019 挑战赛“学会运动——四处行走”所需的软件。有关该挑战赛的更多详情，请参阅此处。我们的强化学习环境的完整文档请见此处。在本文档中，我们将提供非常基础的步骤，帮助您为此次挑战赛做好准备！

您的任务是为一个生理上合理的三维人体模型开发控制器，使其能够以最小的努力按照速度指令进行行走或跑步。我们为您提供了一个人体肌肉骨骼模型和基于物理的仿真环境 OpenSim。本次挑战将分为三个赛道：

1. 最佳性能
2. 新颖的机器学习解决方案
3. 新颖的生物力学解决方案，每个赛道的优胜者都将获得奖励。

为了模拟物理和生物力学特性，我们使用了 OpenSim ——一个用于肌肉骨骼仿真的生物力学物理环境。

相较于 NIPS 2017“学会跑步”的新变化？

我们考虑了上一届挑战赛的反馈意见，并做出了一些改动：

• 您可以使用实验数据（以大大加快学习过程）
• 我们增加了第三维度（模型可以向侧面倒下）
• 我们添加了一条假肢——目标是解决医学上的难题，即模拟安装假肢后步行方式的变化。您的工作可以帮助加速假肢的设计、原型制作或调试！

您还没有听说过 NIPS 2017“学会跑步”吗？请观看此视频！

开始使用

运行我们的仿真需要 Anaconda。Anaconda 将创建一个包含所有必要库的虚拟环境，以避免与您操作系统中的库发生冲突。您可以从这里获取 Anaconda：https://docs.anaconda.com/anaconda/install/。在以下说明中，我们假设 Anaconda 已成功安装。

为了此次挑战赛，我们已将 OpenSim 的二进制文件打包成一个 conda 环境，以便于安装。

我们支持 Windows、Linux 和 Mac OSX（均为 64 位）。要安装我们的仿真器，您首先需要创建一个包含 OpenSim 包的 conda 环境。

在 Windows 上，打开命令提示符并输入：

conda create -n opensim-rl -c kidzik -c conda-forge opensim python=3.6.1
activate opensim-rl
pip install osim-rl

在 Linux/OSX 上，运行：

conda create -n opensim-rl -c kidzik -c conda-forge opensim python=3.6.1
source activate opensim-rl
pip install osim-rl

这些命令将在您的计算机上创建一个虚拟环境，并安装所需的仿真库。如果 python -c "import opensim" 命令能够顺利执行，则表示您已完成安装！否则，请参阅我们的 常见问题解答 部分。

请注意，source activate opensim-rl 用于激活 anaconda 虚拟环境。每次打开新的终端时，您都需要输入此命令。

基本用法

要执行 200 次仿真迭代，请进入 python 解释器并运行以下代码：

from osim.env import L2M2019Env

env = L2M2019Env(visualize=True)
observation = env.reset()
for i in range(200):
    observation, reward, done, info = env.step(env.action_space.sample())

函数 env.action_space.sample() 会返回一个随机的肌肉激活向量，因此在这个示例中，肌肉会被随机激活（红色表示激活的肌肉，蓝色表示未激活的肌肉）。显然，采用这种方法我们无法走得太远。

您的目标是构建一个控制器，即从状态空间（关节的当前位置、速度和加速度）到动作空间（肌肉兴奋度）的函数，使模型能够在固定时间内尽可能地移动。假设您已经训练好了一个神经网络，它可以将观测值（当前模型的状态）映射到动作（肌肉兴奋度），即您有一个函数 action = my_controller(observation)，那么：

# ...
total_reward = 0.0
for i in range(200):
    # 根据控制器的指令执行一步，并记录状态和奖励
    observation, reward, done, info = env.step(my_controller(observation))
    total_reward += reward
    if done:
        break

# 您的总奖励为
print("总奖励 %f" % total_reward)

有关 观测对象 的详细信息，请参阅相关文档。

提交方案

• 方案 1：以 Docker 容器提交解决方案
• 方案 2：在服务器环境中运行控制器：./examples/submission.py

要向 AIcrowd 提交您的方案，请参阅此页面。

规则

主办方保留根据需要修改挑战赛规则的权利。

更多信息请参阅官方文档

• Osim-rl 接口
• 如何训练模型？
• 关于模型训练的更多信息
• 实验数据
• 模型背后的物理原理
• 常见问题解答
• 引用与致谢
• OpenSim 文档

参与者的贡献

• 理解挑战赛 - 来自 @seungjaeryanlee 的优秀资料，介绍了如何入门

合作伙伴

osim-rl 快速上手指南

osim-rl 是 NeurIPS 2019 "Learn to Move" 挑战赛使用的强化学习环境，基于 OpenSim 构建，用于训练符合生理学的 3D 人体模型进行行走或跑步控制。

环境准备

• 操作系统：支持 Windows、Linux 和 macOS（均需 64 位）。
• 前置依赖：必须安装 Anaconda，用于创建隔离的虚拟环境以避免库冲突。
  • 下载地址：https://docs.anaconda.com/anaconda/install/
• Python 版本：环境将自动配置为 Python 3.6.1。

安装步骤

请打开终端（Windows 下为命令提示符或 PowerShell），按顺序执行以下命令。

1. 创建 Conda 环境

该命令会从 kidzik 和 conda-forge 频道安装 OpenSim 二进制文件及指定版本的 Python。

conda create -n opensim-rl -c kidzik -c conda-forge opensim python=3.6.1

2. 激活环境

• Windows:

  activate opensim-rl
  

• Linux / macOS:

  source activate opensim-rl
  

  注意：每次打开新终端窗口时，都需要重新运行此命令来激活环境。

3. 安装 osim-rl 包

在激活的环境中安装 Python 接口包：

pip install osim-rl

4. 验证安装

运行以下命令，若无报错则说明安装成功：

python -c "import opensim"

基本使用

以下是最简单的运行示例，演示如何初始化环境并执行随机动作。

1. 进入 Python 交互界面或创建一个 .py 文件。
2. 复制并运行以下代码：

from osim.env import L2M2019Env

# 初始化环境，visualize=True 可开启可视化窗口
env = L2M2019Env(visualize=True)
observation = env.reset()

# 执行 200 步模拟
for i in range(200):
    # env.action_space.sample() 生成随机的肌肉激活向量
    observation, reward, done, info = env.step(env.action_space.sample())

说明：

• 上述代码中，肌肉激活是随机的（红色代表激活，蓝色代表未激活），模型无法有效前进。
• 你的任务是构建一个控制器函数 my_controller(observation)，将当前状态（关节位置、速度、加速度）映射为肌肉激励动作，以使模型在固定时间内行进距离最远。

自定义控制器示例：

# 假设你已经训练好了一个模型函数：action = my_controller(observation)
total_reward = 0.0
observation = env.reset()

for i in range(200):
    # 使用你的控制器生成动作
    action = my_controller(observation) 
    
    observation, reward, done, info = env.step(action)
    total_reward += reward
    
    if done:
        break

print("Total reward %f" % total_reward)