状态： 归档（代码按原样提供，预计不再更新）

![][ags] Neural MMO：用于训练和评估智能体的大规模多智能体游戏环境

(9/19) 这是 Neural MMO 项目 初始版本的归档。活跃开发已在 jsuarez5341/neural-mmo 继续。归档时，项目版本为 1.2，自 v1.0 以来已取得重大进展——以下是截图：

![][demo]

![][ags] Neural MMO v1.0 发布

此环境是首个神经 MMO；它试图创建能够扩展到现实世界复杂性的智能体。在计算上模拟地球上的进化是不可行的，但我们可以构建一个合理且高效的模拟。我们认为 MMORPG（大型多人在线角色扮演游戏）是人类游戏中模拟现实世界的最佳代理：它们是完整的宏观世界，每个持久世界拥有数千个智能体，包含多样化的技能系统、全球经济以及临时的高风险个人和团队冲突。

![][env]

![][ags] 快速开始

# 推荐设置：
mkdir projekt
cd projekt

git clone https://github.com/jsuarez5341/neural-mmo-client
cd neural-mmo-client
bash setup.sh
cd ..

git clone https://github.com/openai/neural-mmo
cd neural-mmo
bash scripts/setup/setup.sh
python setup.py

这将下载 OpenAI 环境和独立的客户端（用于渲染）。某些设置可能需要你修复指向客户端的符号链接（例如，从 forge/embyr 目录执行 ln -s ../../neural-mmo-client/ embyr）。安装文件只会安装外部依赖项——我们假设你已经设置了 Anaconda with Python 3.6+。环境本身是框架无关的，但我们的实验代码确实依赖 PyTorch——请单独设置。

运行以下命令，然后在 Firefox 或 Chrome 中导航到 http://localhost:8080/forge/embyr/ 以启动渲染器。点击开始，并等待几秒钟加载资源并稳定帧率。故障排除请参阅 客户端仓库。

python Forge.py --render # 运行环境并开启渲染

![][ags] 概述

项目分为四个模块：

工程模块	研究模块
![][earth] Blade：环境	![][water] Trinity：API
![][fire] Embyr：渲染	![][air] Ethyr：神经网络

目标是创建能够扩展到现实世界复杂性和鲁棒性的智能体。这是“人工生命”的一种变体表述。该项目的一个关键视角是将这一目标分解为具体、可行且可直接组合以解决整体问题的子问题。我们将目标分解为“能够扩展到其环境的智能体”和“能够扩展到现实世界复杂性的环境”。这些分别是巨大的研究和工程问题，但与原始目标不同，它们足够具体，可以单独尝试。关于项目方法和目标的更全面概述，请参阅此 两页文档。

![][water]![][air] 研究：能够扩展到环境复杂性的智能体

![][earth]![][fire] 工程：能够扩展到现实世界复杂性的环境

![][water] Trinity

Trinity 是面向研究人员的原生 API（命名仅为趣味性——见下文“命名由来”）。它包含三个基类：Pantheon、God 和 Sword，你可以分别重写它们以在集群、服务器和智能体级别执行代码。

from forge.trinity import smith, Trinity, Pantheon, God, Sword
trinity = Trinity(Pantheon, God, Sword)
envs = smith.Native(config, args, trinity)
envs.run()

就是这样——所有通信都在内部处理。提供的 Pantheon 类包含示例梯度聚合、优化和模型保存代码。提供的 God 类主要是一个存根，以便未来工作可以集成群体级别的训练算法。提供的 Sword 类包含我们简单的全连接模型。完整的 API 定义在 forge/trinity/trinity.py 中。

VecEnv/Gym 计算模型不太适合此场景，其进程间通信量是所需量的 10-1000 倍。原生 API 更简单、更高效，并且需要更少的代码。然而，我们也提供了一个经过最小修改以支持可变数量智能体的规范 Gym API。Forge.py 包含了一个单一群体的完整前向传播示例。基本用法如下：

from forge.trinity import smith
envs = smith.VecEnv(config, args, self.step)

# 环境是持久化的：仅在初始化时调用 reset
obs = envs.reset()

# 观测包含每个环境中每个智能体的实体和刺激信息。
actions = your_algorithm_here(obs)

# 环境是持久化的："dones" 始终为 None
# 如果某个观测缺失，则该智能体已死亡
obs, rewards, dones, infos = envs.step(actions)

你可以通过以下命令尝试这两种方式：

# 运行选项：
python Forge.py --nRealm 2 --api native # 使用原生 API 运行 2 个环境
python Forge.py --nRealm 2 --api vecenv # 使用 vecenv API 运行 2 个环境

![][air] Ethyr

Ethyr 是本项目的“贡献”模块。它包含用于与项目交互的有用研究工具。我已经为其添加了我们实验的辅助类，包括模型保存/加载管理器、rollout 对象和一个基础优化器。如果你想贡献代码（任何框架，不仅仅是 PyTorch），请提交拉取请求。

![][earth] Blade

Blade 是核心环境模块，包括游戏状态和控制流。研究人员通常不需要接触此部分，除了可能导入核心配置和枚举。

![][fire] Embyr

Embyr 是独立的 THREE.js 网页客户端。它通过上述设置从单独的仓库下载，并符号链接到 OpenAI 仓库。如果遇到 forge/embyr 导入错误，你可能需要修复符号链接。同样，研究人员无需编辑此部分。为了运行它，请使用 --render 参数运行 Forge.py，然后在 Firefox 中导航到 localhost:8080/forge/embyr。初始化并加载资源需要几秒钟。每当重启服务器（Forge.py）时，你需要刷新页面。Chrome 和 Safari 可能可以工作，但我们目前不提供官方支持。

![][ags] 故障模式

在我们的设定中，评估可能有些困难，但这并非主要障碍。对于较小的实验，我们发现种群规模和资源利用率是衡量成功的合理指标。对于具有充分领域随机化的大型实验，锦标赛（如配套论文所述）允许对方法进行交叉验证。

我们目前意识到该项目存在三种故障情况：

• 计算不可行性
• "智能体适应其环境扩展"过于困难
• "环境扩展到现实世界"过于困难

第一种故障情况是严重风险，但在该领域的所有方向中都普遍存在。本项目并非独特的计算密集型项目——事实上，它是少数几个可以在单个 CPU 上直接训练合理策略的环境之一。如果规模是这里的主要问题，那么很可能大多数（如果不是全部）其他方法也会面临同样的问题。

第二个问题对研究人员来说可能最熟悉，即探索问题。给定冷启动，智能体如何引导出更好的策略和更好的探索策略？这是一个难题，但不太可能扼杀该项目，因为：

• 这本身就是一个重要问题，许多研究人员已经在研究
• 本项目环境是协作设计的，旨在早期协助智能体学习，而不是作为硬基准对抗性地设计
• 近期 项目 已在大规模上证明了成功

第三个问题可能对许多研究人员来说似乎最有可能，但对任何在 MMO（大型多人在线游戏）中花费大量时间的人来说最不可能。以下是纽约地铁的地图：

来源

实际上，这是《Runescape》（我们的环境大致基于的一款特定 MMO）的任务地图。每个任务本身就是一个谜题，完成时间从几分钟到几小时不等，是其他任务先决条件相互关联网络的一部分，并提供不同的完成激励，从装备到可解锁内容，再到紧密关联技能体系中的经验值：

来源

在一个巨大的开放世界中：

来源

迄今为止被认为最复杂的游戏类别是 MOBA（多人在线战术竞技游戏，例如 Dota、Quake CTF），它们是回合制的，大约持续一小时，并且对操作要求很高。在《Runescape》中，将所有技能练到 99 级并获得最佳装备至少需要数千小时。在允许随处攻击其他玩家的锦标赛环境中，即时游戏玩法的重要性不如平衡任何潜在策略的风险和回报——尤其是在有数百名其他玩家试图做同样事情的情况下。从 MMO 到现实世界几乎肯定仍然存在复杂性差距，但我们认为这比当前可用环境中的差距要小得多。

虽然我们的环境还远未达到真实 MMO 的复杂程度，但它确实包含了持久性、种群规模和开放性的关键属性。随着智能体开始触及当前环境的上限，我们计划继续开发以提高上限。

![][ags] 文件结构

![][water] /forge/trinity ~350 行

• /forge/trinity/ann.py - 定义架构
• /forge/trinity/god.py - 定义服务器级别代码（例如实体标记）
• /forge/trinity/pantheon.py - 定义集群级别代码（例如梯度平均）
• /forge/trinity/sword.py - 定义核心级别代码（例如运行网络、收集轨迹、计算梯度）
• /forge/trinity/trinity.py - 包装 pantheon、god 和 sword
• /forge/trinity/smith.py - 定义 Native 和 VecEnv / Gym API

![][air] /forge/ethyr ~250 行

• /forge/ethyr/rollouts.py - 收集和合并轨迹
• /forge/ethyr/stim.py - 从本地游戏状态生成刺激
• /forge/ethyr/torch - pytorch 特定的神经网络工具
  • /forge/ethyr/torch/loss.py - 定义策略/价值损失和优势
  • /forge/ethyr/torch/optim.py - 定义优化和梯度计算
  • /forge/ethyr/torch/param.py - 对序列化有用的网络手术
  • /forge/ethyr/torch/stim.py - 用 pytorch 张量包装通用刺激库
  • /forge/ethyr/torch/utils.py - 通用 pytorch 工具

![][earth] /forge/blade ~2k 行，其中 >1k 行用于未来扩展。仅斜体文件是相关的。

• /forge/blade/action - 定义实体可以做什么，它们做时会发生什么，并提供推理行动的结构。
  • /forge/blade/action/action.py - 每个动作的类存根
  • /forge/blade/action/tree.py - 组装动作的树结构（例如 动作 -> 子动作 -> 参数）
  • /forge/blade/action/v2.py - 实体可以选择、实例化并 .call() 以直接修改世界状态的动作
• /forge/blade/core — 包含约 500 行状态和游戏循环代码。
  • /forge/blade/core/config.py - 定义每个测试环境的规格，包括实体统计信息、地图和生成位置。
  • /forge/blade/core/tile.py - 定义单个游戏图块
  • /forge/blade/core/map.py - 定义游戏图块的地图
  • /forge/blade/core/env.py - 包装完整的游戏状态
  • /forge/blade/core/realm.py - 定义更新环境和代理的游戏循环。
• /forge/blade/entity - 定义智能体，包括神经网络的和脚本的
  • /forge/blade/entity/player.py — 定义"玩家"状态
  • /forge/blade/entity/npc/
    • /forge/blade/entity/npc/npc.py — 定义客户端状态（例如包装做出决策的神经网络）
    • /forge/blade/entity/npc/mobs.py - 定义脚本 NPC
• /forge/blade/hook - 定义预组装引用的启动脚本
• /forge/blade/item - 定义游戏中的所有物品，包括装备
• /forge/blade/lib - 定义通用工具，这些工具要么没有干净的 Python 实现，要么需要针对项目进行特定更改
• /forge/blade/systems - 定义游戏内容

![][fire] /forge/embyr 参见 客户端仓库

![][ags] 项目命名

在正式出版物中，我们将本项目简称为“Neural MMO”。在内部和非正式场合，我们称其为“Projekt: Godsword”。该名称来源于两个出处：CD Projekt Red（我个人最喜爱的游戏开发工作室）和《OldSchool Runescape》（其中包含一套标志性武器，名为“神剑”）。后者是人工智能环境的绝佳模型；前者则更多是软性风格灵感来源。

![][ags] 作者信息

核心代码库的作者是我，Joseph Suarez。Yilun Du 协助运行实验，特别是在组织锦标赛方面。Phillip Isola 和 Igor Mordatch 在整个项目过程中提供了宝贵的合作与指导。客户端由我与 Clare Zhu 独立合作开发完成。

![][ags] 许可证与资源

本 OpenAI 代码库依据 MIT 许可证开源。此外，还有一个较小的原创代码库和游戏内核，其所有权及相关创意归我（Joseph Suarez）所有。这些内容在我受雇之前就已创建——此处的初始提交代表了我受雇前的最新时间节点。

本项目使用的部分资源归属于《Runescape》的创造者 Jagex，例如：

我们目前使用这些资源是为了向启发本项目的游戏致敬，增添项目特色。我们认为，作为一个旨在推动人工智能研究的非营利项目，这属于合理使用范畴。但若收到相关请求，我们非常乐意移除这些资源。智能体（agents）的 2D 和 3D 文件归我们所有。

Neural MMO 快速上手指南

环境准备

系统要求

• 操作系统: Linux 或 macOS (Windows 未官方支持，但可能通过 WSL 运行)
• Python: 3.6 或更高版本
• 包管理器: 强烈建议使用 Anaconda 或 Miniconda 来管理 Python 环境。
• 深度学习框架: 环境本身是框架无关的，但项目提供的实验代码依赖于 PyTorch。你需要单独安装 PyTorch。
• 浏览器: 用于客户端渲染，推荐 Firefox 或 Chrome。

安装步骤

1. 创建项目目录并克隆仓库 建议在一个统一的目录下进行操作。

   mkdir projekt
   cd projekt
   
   # 克隆渲染客户端仓库
   git clone https://github.com/jsuarez5341/neural-mmo-client
   cd neural-mmo-client
   bash setup.sh
   cd ..
   
   # 克隆主环境仓库
   git clone https://github.com/openai/neural-mmo
   cd neural-mmo
   

2. 运行环境安装脚本 此脚本将安装项目的外部依赖。

   bash scripts/setup/setup.sh
   python setup.py
   

   注意:

   • 安装脚本不会安装 PyTorch 或 Anaconda，你需要提前准备好。
   • 如果遇到 forge/embyr 相关的导入错误，可能需要手动创建符号链接。在 neural-mmo/forge/ 目录下执行：

     ln -s ../../neural-mmo-client/ embyr
     

基本使用

1. 启动环境与渲染服务器 运行以下命令启动后端环境并开启渲染服务。

   python Forge.py --render
   

2. 打开客户端进行可视化 启动命令后，在 Firefox 或 Chrome 浏览器中访问以下地址：

   http://localhost:8080/forge/embyr/
   

   页面加载后，点击界面开始渲染。首次加载需要几秒钟时间来加载资源并稳定帧率。

3. 运行简单的 API 示例 你可以使用两种不同的 API 来运行环境。在新的终端窗口中，进入 neural-mmo 目录，尝试以下命令：

   • 使用高效的 Native API 运行（推荐）:

     python Forge.py --nRealm 2 --api native
     

   • 使用修改版的 Gym (VecEnv) API 运行:

     python Forge.py --nRealm 2 --api vecenv
     

   以上命令会启动 2 个并行运行的游戏世界 (--nRealm 2)。

4. 代码示例：使用 VecEnv/Gym API 以下是一个使用 VecEnv API 与环境交互的基本代码结构：

   from forge.trinity import smith
   
   # 初始化环境
   config = ... # 你的配置
   args = ...   # 你的参数
   envs = smith.VecEnv(config, args, self.step)
   
   # 环境是持久化的：仅在初始化时调用 reset
   obs = envs.reset()
   
   # 观测值(obs)包含每个环境中每个智能体的实体和刺激信息
   # 在此处插入你的算法来决定动作
   actions = your_algorithm_here(obs)
   
   # 环境是持久化的："dones" 始终为 None
   # 如果某个智能体的观测值缺失，则表示该智能体已死亡
   obs, rewards, dones, infos = envs.step(actions)
   

项目状态说明：本仓库 (openai/neural-mmo) 是项目的初始版本归档，后续活跃开发已在 jsuarez5341/neural-mmo 进行。本指南基于归档的 v1.0 版本编写。