状态: 稳定版

Crafter

一款开放世界生存游戏，旨在通过单一环境评估智能体的广泛能力。

概述

Crafter 提供随机生成的 2D 世界，玩家需要在其中采集食物和水、寻找庇护所休息、抵御怪物侵袭、收集资源并制作工具。Crafter 的设计目标是成为强化学习领域的一个高效基准测试平台，具体体现在以下几个方面：

• 研究挑战性： Crafter 对现有方法提出了重大挑战，能够评估模型的强泛化能力、深度与广度探索、表征学习以及长期推理和信用分配等能力。

• 有意义的评估： 智能体的表现通过每一轮游戏中可解锁的语义化成就来衡量，这不仅适用于基于奖励的智能体，也适用于无监督学习的智能体，从而更全面地反映其能力范围。

• 迭代效率： Crafter 在一个环境中即可评估多种智能体能力，相比需要从头训练多个独立环境的基准测试套件，显著降低了计算需求。

更多信息请参阅相关论文：Benchmarking the Spectrum of Agent Capabilities

@article{hafner2021crafter,
  title={Benchmarking the Spectrum of Agent Capabilities},
  author={Danijar Hafner},
  year={2021},
  journal={arXiv preprint arXiv:2109.06780},
}

自己来玩一玩

python3 -m pip install crafter  # 安装 Crafter
python3 -m pip install pygame   # 需要用于人机交互界面
python3 -m crafter.run_gui      # 启动游戏

键盘映射（点击展开）

键	动作
WASD	移动
SPACE	收集资源、饮水、攻击生物
TAB	睡觉
T	放置桌子
R	放置石头
F	放置熔炉
P	放置植物
1	制作木镐
2	制作石镐
3	制作铁镐
4	制作木剑
5	制作石剑
6	制作铁剑

接口

安装 Crafter 可以运行 pip3 install crafter。该环境遵循 OpenAI Gym 接口。观测值为大小为 (64, 64, 3) 的图像，动作空间包含 17 种离散动作。

import gym
import crafter

env = gym.make('CrafterReward-v1')  # 或者 CrafterNoReward-v1
env = crafter.Recorder(
  env, './path/to/logdir',
  save_stats=True,
  save_video=False,
  save_episode=False,
)

obs = env.reset()
done = False
while not done:
  action = env.action_space.sample()
  obs, reward, done, info = env.step(action)

评估

智能体被允许使用 100 万步的交互预算，并根据 22 项成就的成功率及其几何平均分进行评估。仓库中的 analysis 目录包含了用于计算这些指标的示例脚本。

• 奖励机制： 奖励较为稀疏，每解锁一项成就得 +1 分，而健康值每损失或恢复一点则分别扣或加 0.1 分。报告结果时应以成功率和分数为主，而非总奖励值。

• 成功率： 22 项成就的成功率是指在所有训练回合中成功解锁该成就的比例，借此可以深入了解智能体的能力分布。

• Crafter 分数： 分数由各项成就成功率的几何平均值得出，这意味着对高难度成就的提升比对已有较高成功率成就的改进更能显著影响最终得分。

得分榜

如果您希望将自己的算法或其他算法添加到得分榜上，请提交 Pull Request。对于强化学习和无监督学习两类，交互预算均为 100 万步；外部知识类别则定义更为宽泛。

强化学习

算法	分数 (%)	奖励	开源
Curious Replay	19.4±1.6	-	AutonomousAgentsLab/cr-dv3
PPO (ResNet)	15.6±1.6	10.3±0.5	snu-mllab/Achievement-Distillation
DreamerV3	14.5±1.6	11.7±1.9	danijar/dreamerv3
LSTM-SPCNN	12.1±0.8	—	astanic/crafter-ood
EDE	11.7±1.0	—	yidingjiang/ede
OC-SA	11.1±0.7	—	astanic/crafter-ood
DreamerV2	10.0±1.2	9.0±1.7	danijar/dreamerv2
PPO	4.6±0.3	4.2±1.2	DLR-RM/stable-baselines3
Rainbow	4.3±0.2	6.0±1.3	Kaixhin/Rainbow

无监督学习

算法	分数 (%)	奖励	开源
Plan2Explore	2.1±0.1	2.1±1.5	danijar/dreamerv2
RND	2.0±0.1	0.7±1.3	alirezakazemipour/PPO-RND
随机	1.6±0.0	2.1±1.3	—

外部知识

算法	分数 (%)	奖励	使用	交互次数	开源
人类	50.5±6.8	14.3±2.3	生活经验	0	crafter_human_dataset
SPRING	27.3±1.2	12.3±0.7	LLM、场景描述、Crafter 论文	0	❌
Achievement Distillation	21.8±1.4	12.6±0.3	奖励结构	100万	snu-mllab/Achievement-Distillation
ELLM	—	6.0±0.4	LLM、场景描述	500万	❌

基线

Crafter 提供了多种智能体的基线分数，包括带奖励和不带奖励两种情况。这些分数以 JSON 格式存储在仓库的 scores 目录中。作为对比，人类专家玩家的得分为 50.5%。基线实现已作为一个独立仓库提供：基线实现。

问题

请在 GitHub 上 提交一个问题。

Crafter 快速上手指南

Crafter 是一个用于评估智能体能力的开放世界生存游戏环境，专为强化学习研究设计。它在一个环境中集成了觅食、建造、战斗等多种挑战，是测试智能体泛化能力、探索能力和长期规划能力的理想基准。

环境准备

• 系统要求：支持 Linux、macOS 或 Windows。
• Python 版本：推荐 Python 3.7 及以上版本。
• 前置依赖：
  • gym：Crafter 遵循 OpenAI Gym 接口标准。
  • pygame：仅当需要人工试玩（GUI 界面）时需要安装。

提示：国内开发者建议使用清华源或阿里源加速安装过程。

安装步骤

1. 安装核心库

使用 pip 安装 Crafter 及其依赖：

python3 -m pip install crafter -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装图形界面依赖（可选）

如果你希望亲自体验游戏或查看可视化界面，需额外安装 pygame：

python3 -m pip install pygame -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

模式一：人工试玩

安装完成后，运行以下命令即可启动游戏窗口，通过键盘控制角色进行生存挑战：

python3 -m crafter.run_gui

操作按键说明：

按键	功能
WASD	移动角色
SPACE	收集材料 / 喝水 / 攻击生物
TAB	睡觉（恢复状态）
T / R / F / P	放置桌子 / 石头 / 熔炉 / 植物
1-3	制作木/石/铁 镐
4-6	制作木/石/铁 剑

模式二：代码集成（强化学习训练）

Crafter 完全兼容 Gym 接口，可直接用于训练 RL 智能体。以下是最小可用示例：

import gym
import crafter

# 创建环境 (可选 'CrafterNoReward-v1' 用于无监督学习)
env = gym.make('CrafterReward-v1')

# 可选：添加记录器以保存统计数据和视频
env = crafter.Recorder(
  env, './path/to/logdir',
  save_stats=True,
  save_video=False,
  save_episode=False,
)

obs = env.reset()
done = False

while not done:
  # 此处替换为你的智能体动作选择逻辑
  action = env.action_space.sample()
  
  obs, reward, done, info = env.step(action)

关键参数说明：

• 观测空间 (Observation)：形状为 (64, 64, 3) 的 RGB 图像。
• 动作空间 (Action)：包含 17 种离散动作（如移动、交互、制作等）。
• 奖励机制：解锁成就时获得 +1 稀疏奖励，生命值变化会有微小奖惩。评估时通常关注成就解锁率和几何平均得分，而非累计奖励。