Arnold

Arnold 是《使用深度强化学习玩 FPS 游戏》（https://arxiv.org/abs/1609.05521）中提出的智能体的 PyTorch 实现，该智能体在 2017 年的 ViZDoom AI 竞赛 中获胜。

本仓库包含：

• 训练 DOOM 智能体的源代码
• 包含 17 张精选地图的软件包，可用于训练和评估
• 5 个预训练模型，你可以对其进行可视化并与其对战，其中包括在 ViZDoom 竞赛中获胜的模型

安装

依赖项

Arnold 已在 Mac OS 和 Linux 发行版上成功测试。你需要：

• Python 2/3，以及 NumPy 和 OpenCV
• PyTorch
• ViZDoom

请按照 https://github.com/mwydmuch/ViZDoom 上的说明安装 ViZDoom。确保你可以在任何目录下通过 Python 运行 import vizdoom。为此，你可以使用 pip 安装该库，或者先编译它，再将其移动到你的 Python 安装的 site-packages 目录中，具体方法请参阅：https://github.com/mwydmuch/ViZDoom/blob/master/doc/Quickstart.md.

代码结构

.
├── pretrained                    # 预训练模型示例
├── resources
    ├── freedoom2.wad             # DOOM 资源文件（包含所有纹理）
    └── scenarios                 # 包含所有场景的文件夹
        ├── full_deathmatch.wad   # 包含所有死斗地图的场景
        ├── health_gathering.wad  # 简单的测试场景
        └── ...
├── src                           # 源文件
    ├── doom                      # 游戏交互 / API / 场景
    ├── model                     # DQN / DRQN 实现
    └── trainer                   # 包含训练脚本的文件夹
├── arnold.py                     # 主文件
└── README.md

场景 / 地图

训练模型

有许多参数可以调整来训练模型。

python arnold.py

## 游戏相关通用参数
--freedoom "true"                # 使用 freedoom 资源
--height 60                      # 屏幕高度
--width 108                      # 屏幕宽度
--gray "false"                   # 使用灰度屏幕
--use_screen_buffer "true"       # 使用屏幕缓冲区（玩家所见内容）
--use_depth_buffer "false"       # 使用深度缓冲区
--labels_mapping ""              # 对特定物体使用额外特征图
--game_features "target,enemy"   # 预测游戏特征（辅助任务）
--render_hud "false"             # 不渲染 HUD（屏幕底部的状态栏）
--render_crosshair "true"        # 渲染十字准星（屏幕中心的瞄准辅助）
--render_weapon "true"           # 渲染武器
--hist_size 4                    # 历史帧数
--frame_skip 4                   # 帧跳过（1 = 保留每一帧）

## 智能体可执行的动作
--action_combinations "attack+move_lr;turn_lr;move_fb"  # 智能体可执行的动作
--freelook "false"               # 允许智能体上下视角
--speed "on"                     # 使智能体奔跑
--crouch "off"                   # 使智能体蹲下

## 训练参数
--batch_size 32                  # 批量大小
--replay_memory_size 1000000     # 经验回放缓存的最大容量
--start_decay 0                  # ε-贪心策略衰减的起始迭代
--stop_decay 1000000             # ε-贪心策略衰减的结束迭代
--final_decay 0.1                # 最终的 ε 值
--gamma 0.99                     # 折扣因子 γ
--dueling_network "false"        # 使用 Dueling 架构
--clip_delta 1.0                 # 截断损失值
--update_frequency 4             # DQN 更新频率
--dropout 0.5                    # CNN 输出层的 Dropout
--optimizer "rmsprop,lr=0.0002"  # 网络优化器

## 网络架构
--network_type "dqn_rnn"         # 网络类型（dqn_ff / dqn_rnn）
--recurrence "lstm"              # 循环网络类型（rnn / gru / lstm）
--n_rec_layers 1                 # 循环网络的层数
--n_rec_updates 5                # 每个样本的更新次数
--remember 1                     # 在评估时记住所有帧
--use_bn "off"                   # 处理屏幕时使用 BatchNorm
--variable_dim "32"              # 游戏变量嵌入维度
--bucket_size "[10, 1]"          # 将游戏变量分桶（通常为生命值/弹药）
--hidden_dim 512                 # 隐藏层维度

## 场景参数（这些参数会因场景而异）
--scenario "deathmatch"          # 场景
--wad "full_deathmatch"          # WAD 文件（场景文件）
--map_ids_train "2,3,4,5"        # 用于训练模型的地图
--map_ids_test "6,7,8"           # 用于测试模型的地图
--n_bots 8                       # 敌方机器人数量
--randomize_textures "true"      # 训练时随机化墙壁/地板/天花板的纹理
--init_bots_health 20            # 降低敌方机器人的初始生命值（使用手枪时非常有帮助）

## 各种选项
--exp_name new_train             # 实验名称
--dump_freq 200000               # 定期保存模型
--gpu_id -1                      # GPU ID（-1 表示在 CPU 上运行）

当您的智能体训练完成后，可以通过运行相同的命令，并添加以下额外参数来对其进行可视化：

--visualize 1                    # 可视化模型（渲染屏幕）
--evaluate 1                     # 对智能体进行评估
--manual_control 1               # 当智能体陷入困境时，手动控制其转向
--reload PATH                    # 训练好的智能体保存路径

以下是针对三种不同场景的训练命令示例：

守护中心

在这个场景中，智能体位于圆形地图的中央。怪物会定期从两侧出现，并向智能体移动。智能体配备一把手枪和有限的弹药，必须及时转身并击杀靠近的怪物。以下命令将训练一个标准的 DQN 模型，该模型应在约 400 万步内达到最优表现，即击杀 56 个怪物（与手枪弹夹容量相同）：

python arnold.py --scenario defend_the_center --action_combinations "turn_lr+attack" --frame_skip 2

补给收集

在这个场景中，智能体行走在熔岩之上，每一步都会损失生命值。智能体需要不断移动并尽可能多地收集补给包以维持生存。目标是尽可能延长存活时间。

python arnold.py --scenario health_gathering --action_combinations "move_fb;turn_lr" --frame_skip 5

此场景非常简单，模型很快就能达到最长存活时间——2 分钟（35 * 120 = 4200 帧）。此外，该场景还提供了一个“至尊”模式，地图更加复杂，补给包也更难收集：

python arnold.py --scenario health_gathering --action_combinations "move_fb;turn_lr" --frame_skip 5 --supreme 1

在这一模式下，智能体大约需要 150 万步才能达到最长存活时间（但通常会在结束前死亡）。

死斗模式

在此场景中，智能体被训练为与游戏内置的机器人对战。以下是一个使用游戏特征预测（如文献 [1] 所述）和 DRQN 网络训练智能体的命令：

python arnold.py --scenario deathmatch --wad deathmatch_rockets --n_bots 8 \
--action_combinations "move_fb;move_lr;turn_lr;attack" --frame_skip 4 \
--game_features "enemy" --network_type dqn_rnn --recurrence lstm --n_rec_updates 5

预训练模型

守护中心 / 补给收集

我们为这两个场景分别提供了预训练模型。您可以通过以下命令进行可视化：

./run.sh defend_the_center

或

./run.sh health_gathering

Visual Doom AI 竞赛 2017

我们发布了提交至 ViZDoom AI 2017 竞赛第一赛道和第二赛道的两个智能体。您可以通过以下命令观看它们与内置机器人对战的场景：

第一赛道——Arnold 对战 10 个内置 AI 机器人

./run.sh track1 --n_bots 10

第二赛道——Arnold 对战 10 个内置 AI 机器人——地图 2

./run.sh track2 --n_bots 10 --map_id 2

第二赛道——4 个 Arnold 相互对战——地图 3

./run.sh track2 --n_bots 0 --map_id 3 --n_agents 4

我们还基于单一地图、使用同一种武器（超级霰弹枪）训练了一个智能体。这个智能体极其难以击败。

散弹枪——4 个 Arnold 相互对战

./run.sh shotgun --n_bots 0 --n_agents 4

散弹枪——3 个 Arnold 相互对战 + 1 名人类玩家（用于与智能体对战）

./run.sh shotgun --n_bots 0 --n_agents 3 --human_player 1

参考文献

如果您觉得本代码有用，请考虑引用：

[1] G. Lample* 和 D.S. Chaplot*, 使用深度强化学习玩 FPS 游戏

@inproceedings{lample2017playing,
  title={Playing FPS Games with Deep Reinforcement Learning.},
  author={Lample, Guillaume and Chaplot, Devendra Singh},
  booktitle={Proceedings of AAAI},
  year={2017}
}

[2] D.S. Chaplot* 和 G. Lample*, Arnold：一款用于玩 FPS 游戏的自主智能体

@inproceedings{chaplot2017arnold,
  title={Arnold: An Autonomous Agent to Play FPS Games.},
  author={Chaplot, Devendra Singh and Lample, Guillaume},
  booktitle={Proceedings of AAAI},
  year={2017},
  Note={最佳演示奖}
}

致谢

我们感谢 ViZDoom 的开发者在本项目开发过程中提供的持续帮助和支持。部分地图和 WAD 文件借用了 ViZDoom 的 Git 仓库。同时，我们也感谢 ZDoom 社区成员在 Action Code Scripts (ACS) 方面给予的帮助。

Arnold 快速上手指南

Arnold 是一个基于 PyTorch 的强化学习项目，实现了在《毁灭战士》（DOOM）环境中进行第一人称射击（FPS）游戏的智能体。该模型曾获得 2017 年 ViZDoom AI 竞赛冠军。

环境准备

系统要求

• 操作系统：macOS 或 Linux 发行版（已在这些系统上测试通过）。
• Python 版本：Python 2 或 Python 3。

前置依赖

在开始之前，请确保已安装以下库：

• NumPy
• OpenCV (cv2)
• PyTorch
• ViZDoom (核心游戏引擎)

提示：国内用户安装 PyTorch 时，建议访问 PyTorch 官网 获取针对国内网络优化的安装命令（如使用清华或中科大镜像源）。

安装步骤

1. 安装基础 Python 依赖

使用 pip 安装必要的 Python 包：

pip install numpy opencv-python torch

2. 安装 ViZDoom

Arnold 强依赖 ViZDoom 引擎。请严格按照以下步骤操作，确保能在任意目录下通过 import vizdoom 导入模块。

推荐方式（pip 安装）：

pip install vizdoom

备选方式（源码编译）： 如果 pip 安装失败，请参考 ViZDoom Quickstart 进行源码编译。编译完成后，务必将生成的库文件移动到 Python 的 site-packages 目录中。

验证安装： 在终端任意路径下运行 Python，尝试导入：

import vizdoom

若无报错，则环境准备完成。

3. 获取 Arnold 代码

克隆本仓库并进入目录：

git clone <repository_url>
cd Arnold

(注：请替换 <repository_url> 为实际的项目地址)

基本使用

场景说明

Arnold 提供了多种预设训练场景，最简单的入门场景是 "Defend the Center"（保卫中心）。

• 目标：智能体位于圆形地图中心，怪物从四周出现，智能体需转身并使用手枪击杀怪物。
• 预期表现：标准 DQN 模型约在 400 万步后达到最优性能（击杀 56 个怪物）。

快速开始训练

运行以下命令即可开始训练默认的 "Defend the Center" 场景：

python arnold.py --scenario defend_the_center --action_combinations "turn_lr+attack" --frame_skip 2

可视化预训练模型

如果你不想从头训练，可以直接运行提供的脚本查看预训练好的模型表现：

./run.sh defend_the_center

其他常用场景示例

• 健康收集 (Health Gathering)：智能体需在熔岩上移动以收集血包生存。

  python arnold.py --scenario health_gathering --action_combinations "move_fb;turn_lr" --frame_skip 5
  

• 死亡竞赛 (Deathmatch)：与内置 bots 对战（需更多计算资源）。

  python arnold.py --scenario deathmatch --wad deathmatch_rockets --n_bots 8 --action_combinations "move_fb;move_lr;turn_lr;attack" --frame_skip 4 --game_features "enemy" --network_type dqn_rnn --recurrence lstm --n_rec_updates 5
  

训练完成后，添加 --visualize 1 和 --reload <模型路径> 参数即可回放或评估训练好的智能体。