Meta-World 是一个开源基准，用于开发和评估连续控制机器人操作环境中的多任务和元强化学习算法，并提供多种基准来评估强化学习算法的不同方面。

文档网站位于 metaworld.farama.org，我们还有一个公共 Discord 服务器（我们也用它来协调开发工作），你可以通过以下链接加入：https://discord.gg/bnJ6kubTg6

安装

要安装 Meta-World，请使用 pip install metaworld。

我们支持并测试在 Linux 和 macOS 上的 Python 3.8、3.9、3.10 和 3.11。我们会接受与 Windows 相关的 Pull Request，但并不正式支持 Windows。

API

Meta-World 的 API 遵循 Gymnasium 的 API，用于环境的创建和交互。

要创建一个基准并与之交互：

import gymnasium as gym
import metaworld


env = gym.make("Meta-World/MT1", env_name="reach-v3")

observation, info = env.reset()
for _ in range(500):
    action = env.action_space.sample()
    observation, reward, terminated, truncated, info = env.step(action)

env.close()

可用的基准

多任务基准

MT1、MT10 和 MT50 基准是多任务基准。这些基准用于学习能够同时完成 1、10 或 50 个训练任务的多任务策略。MT1 基准可以使用 Meta-World 中提供的 50 个任务中的任意一个来创建。 在 MT10 和 MT50 基准中，基准返回的观测值会在状态后附加独热编码的任务 ID。

元学习基准

ML1、ML10 和 ML45 是 Meta-World 中提供的 3 个元强化学习基准。ML1 基准可以使用 Meta-World 中提供的 50 个任务中的任意一个。 ML1 基准测试的是在单个任务内对目标变化的少量样本适应能力。ML10 和 ML45 则测试对新任务的少量样本适应能力。ML10 包含 10 个训练任务和 5 个测试任务，而 ML45 包含 45 个训练任务和 5 个测试任务。

创建多任务基准

MT1

import gymnasium as gym
import metaworld

seed = 42 # 用于可重复性

env = gym.make('Meta-World/MT1', env_name='reach-v3', seed=seed) # 使用 reach 环境的 MT1

obs, info = env.reset()

a = env.action_space.sample() # 随机采样一个动作
obs, reward, truncate, terminate, info = env.step(a) # 应用随机采样的动作

MT10

MT10 有两种不同的版本，可以通过 gym.make 返回。第一种是同步版本，所有环境都包含在同一进程中。 对于计算资源有限的用户来说，同步选项所需的资源最少。

import gymnasium as gym
import metaworld

seed = 42

envs = gym.make_vec('Meta-World/MT10', vector_strategy='sync', seed=seed) # 这将返回一个包含 10 个环境的同步向量化环境

obs, info = envs.reset() # 重置所有 10 个环境

a = env.action_space.sample() # 为每个环境采样一个动作

obs, reward, truncate, terminate, info = envs.step(a) # 执行所有 10 个环境的动作

另外，对于计算资源更充足的用户，我们还提供了 MT10 基准的异步版本，其中每个环境都独立运行在自己的进程中，并通过进程间管道进行通信。

envs = gym.make_vec('Meta-World/MT10', vector_strategy='async', seed=seed) # 这将返回一个包含 10 个环境的异步向量化环境

MT50

MT50 也有两种不同的版本，即同步和异步版本的环境。

import gymnasium as gym
import metaworld

seed = 42

envs = gym.make_vec('Meta-World/MT50', vector_strategy='sync', seed=seed) # 这将返回一个包含 50 个环境的同步向量化环境

obs, info = envs.reset() # 重置所有 50 个环境

a = env.action_space.sample() # 为每个环境采样一个动作

obs, reward, truncate, terminate, info = envs.step(a) # 执行所有 50 个环境的动作

envs = gym.make_vec('Meta-World/MT50', vector_strategy='async', seed=seed) # 这将返回一个包含 50 个环境的异步向量化环境

元学习基准

每个元强化学习基准都包含训练环境和测试环境。这些环境必须分别创建，如下所示。

ML1

import gymnasium as gym
import metaworld

seed = 42


train_envs = gym.make('Meta-World/ML1-train', env_name='reach-V3', seed=seed)
test_envs = gym.make('Meta-World/ML1-test', env_name='reach-V3', seed=seed)

# 训练过程使用 train_envs
# 测试过程使用 test_envs

ML10

与多任务基准类似，ML10 和 ML45 的环境也可以以同步或异步模式运行。

import gymnasium as gym
import metaworld

train_envs = gym.make_vec('Meta-World/ML10-train', vector_strategy='sync', seed=seed) # 或者 vector_strategy='async'
test_envs = gym.make_vec('Meta-World/ML10-test', vector_strategy='sync', seed=seed) # 或者 vector_strategy='async'

ML45

import gymnasium as gym
import metaworld

train_envs = gym.make_vec('Meta-World/ML45-train', vector_strategy='sync', seed=seed) # 或者 vector_strategy='async'
test_envs = gym.make_vec('Meta-World/ML45-test', vector_strategy='sync', seed=seed) # 或者 vector_strategy='async'

自定义基准测试

最后，我们还支持通过组合任意数量的 Meta-World 环境来创建自定义基准测试。

前缀 'mt' 将返回适用于多任务强化学习的目标可观察环境，而前缀 'ml' 则会返回适用于元强化学习的部分可观测环境。 与内置的 MT 和 ML 基准测试一样，这些环境也可以在同步或异步模式下运行。 为了创建自定义基准测试，用户必须提供一个带有 '-v3' 后缀的环境名称列表。

import gymnasium as gym
import metaworld

envs = gym.make_vec('Meta-World/custom-mt-envs',vector_strategy='sync', envs_list=['env_name_1-v3', 'env_name_2-v3', 'env_name_3-v3'], seed=seed) # 或 vector_strategy='async'
envs = gym.make_vec('Meta-World/custom-ml-envs',vector_strategy='sync', envs_list=['env_name_1-v3', 'env_name_2-v3', 'env_name_3-v3'], seed=seed) # 或 vector_strategy='async'

开发路线图

我们为 Gymnasium 的未来开发工作制定了一份路线图，详情请见：https://github.com/Farama-Foundation/Metaworld/issues/500

基准测试代码

用于生成论文中结果的代码可在以下地址找到：https://github.com/rainx0r/metaworld-algorithms

引用方式

您可以使用我们的相关论文（https://openreview.net/forum?id=1de3azE606）来引用 Meta-World，引用格式如下：

@inproceedings{
mclean2025metaworld,
title={Meta-World+: 一种改进的标准化强化学习基准},
author={Reginald McLean、Evangelos Chatzaroulas、Luc McCutcheon、Frank R{\"o}der、Tianhe Yu、Zhanpeng He、K.R. Zentner、Ryan Julian、J K Terry、Isaac Woungang、Nariman Farsad、Pablo Samuel Castro},
booktitle={第三十九届神经信息处理系统大会——数据集与基准赛道},
year={2025},
url={https://openreview.net/forum?id=1de3azE606}
}

Meta-World 快速上手指南

Meta-World 是一个开源基准测试平台，专为开发和评估连续控制机器人操作环境中的多任务（Multi-Task）和元强化学习（Meta-RL）算法而设计。它基于 Gymnasium API 构建，提供了丰富的任务场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux 或 macOS。
  • 注：官方目前不正式支持 Windows，但接受相关的 PR。
• Python 版本：3.8, 3.9, 3.10, 或 3.11。
• 前置依赖：建议预先安装 gymnasium（Meta-World 遵循其 API 标准）。

安装步骤

使用 pip 即可直接安装 Meta-World。国内开发者若遇到下载速度慢的问题，推荐使用国内镜像源加速安装。

标准安装命令：

pip install metaworld

使用国内镜像源加速（推荐）：

pip install metaworld -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Meta-World 完全兼容 Gymnasium 接口。以下是最简单的单任务（MT1）环境使用示例，展示如何创建环境、重置状态并执行随机动作。

import gymnasium as gym
import metaworld

# 设置随机种子以保证结果可复现
seed = 42 

# 创建 MT1 基准环境，指定具体任务为 "reach-v3"
env = gym.make('Meta-World/MT1', env_name='reach-v3', seed=seed)

# 重置环境
obs, info = env.reset()

# 运行一个简单的交互循环
for _ in range(500):
    # 从动作空间中随机采样一个动作
    a = env.action_space.sample()
    
    # 执行动作并获取反馈
    obs, reward, truncate, terminate, info = env.step(a)
    
    # 如果 episode 结束，可选择在此处重置或跳出循环
    if terminate or truncate:
        break

# 关闭环境
env.close()

说明：

• Meta-World/MT1：表示单任务基准，您可以将 env_name 替换为 Meta-World 支持的任意 50 个任务之一（如 pick-place-v3）。
• 对于多任务（MT10/MT50）或元学习（ML1/ML10/ML45）基准，可使用 gym.make_vec 创建向量化环境，并指定 vector_strategy='sync'（同步，节省资源）或 'async'（异步，性能更强）。