---

ReinforcementLearning.jl, 顾名思义，是 Julia 语言中用于强化学习研究的一个软件包。

我们的设计原则是：

• 可复用性与可扩展性：提供精心设计的组件和接口，帮助用户实现新的算法。
• 易于实验：让新用户能够轻松运行基准实验、比较不同算法、评估和诊断智能体。
• 可重复性：从传统的表格型方法到现代深度强化学习算法，均能促进结果的可重复性。

🏹 快速入门

julia> ] add ReinforcementLearning

julia> using ReinforcementLearning

julia> run(
           RandomPolicy(),
           CartPoleEnv(),
           StopAfterNSteps(1_000),
           TotalRewardPerEpisode()
       )

上述简单示例展示了通用强化学习实验中的四个核心组件：

• 策略。RandomPolicy 是 AbstractPolicy 的最简单实例。 它在每一步都会随机选择一个动作。

• 环境。CartPoleEnv 是典型的 AbstractEnv，用于测试强化学习算法。

• 停止条件。StopAfterNSteps(1_000) 表示实验应在执行 1_000 步后停止。

• 钩子。TotalRewardPerEpisode 结构是最常见的 AbstractHook 之一。 它用于收集实验中每一集的总奖励。

请查看 教程 页面，了解如何将这四个组件组合起来解决许多有趣的问题。我们也会不定期撰写 博客 来解释一些算法的实现细节。其中最推荐的是 ReinforcementLearning.jl 简介， 它详细阐述了本包的设计理念。

🙋 为什么选择 ReinforcementLearning.jl？

🚀 高速性能

[待补充:]

🧰 功能丰富

[待补充:]

🌲 项目结构

ReinforcementLearning.jl 本身只是对几个其他子包的封装。它们之间的关系如下所示：

+-----------------------------------------------------------------------------------+
|                                                                                   |
|  ReinforcementLearning.jl                                                         |
|                                                                                   |
|      +------------------------------+                                             |
|      | ReinforcementLearningBase.jl |                                             |
|      +----|-------------------------+                                             |
|           |                                                                       |
|           |     +--------------------------------------+                          |
|           +---->+ ReinforcementLearningEnvironments.jl |                          |
|           |     +--------------------------------------+                          |
|           |                                                                       |
|           |     +------------------------------+                                  |
|           +---->+ ReinforcementLearningCore.jl |                                  |
|                 +----|-------------------------+                                  |
|                      |                                                            |
|                      |     +-----------------------------+                        |
|                      +---->+ ReinforcementLearningZoo.jl |                        |
|                            +----|------------------------+                        |
|                                 |                                                 |
|                                 |     +-------------------------------------+     |
|                                 +---->+ DistributedReinforcementLearning.jl |     |
|                                       +-------------------------------------+     |
|                                                                                   |
+------|----------------------------------------------------------------------------+
       |
       |     +-------------------------------------+
       +---->+ ReinforcementLearningExperiments.jl |
       |     +-------------------------------------+
       |
       |     +----------------------------------------+
       +---->+ ReinforcementLearningAnIntroduction.jl |
             +----------------------------------------+

✋ 获取帮助

您正在寻找关于 ReinforcementLearning.jl 的帮助吗？以下是几种获取帮助的方式：

1. 阅读在线文档！答案很可能已经在某个示例或 API 文档中给出。请使用左上角的搜索栏进行查找。

2. 在 Julia Slack 的 #reinforcement-learnin 频道与我们交流。
3. 在 Julia discourse 论坛的“机器学习”分类下发布问题，并使用“reinforcement-learning”作为标签。
4. 如果遇到 ReinforcementLearning.jl 的意外行为或缺陷问题，请在 ReinforcementLearning 的 GitHub 页面 上提交一个包含最小可复现示例和复现步骤的问题。

🖖 支持

ReinforcementLearning.jl 是一个 MIT 许可证下的开源项目，其持续开发得益于众多贡献者在业余时间的努力。然而，现代强化学习研究需要大量的计算资源，这对个人贡献者来说是难以负担的。因此，如果您或您的组织能够在一定程度上提供计算资源并希望以某种方式合作，请随时与我们联系！

本包完全用 Julia 编写。如果您觉得这个包很有用，请考虑支持 JuliaLang 组织。❤

✍️ 引用

如果您在科学出版物中使用了 ReinforcementLearning.jl，我们非常感谢您能引用其中的 CITATION.bib 文件。

✨ 贡献者

感谢以下各位优秀的贡献者（emoji key）：

jbrea 💻 📖 🚧	Jun Tian 💻 📖 🚧 🤔	Aman Bhatia 📖	Alexander Terenin 💻	Sid-Bhatia-0 💻	norci 💻 🚧	Sriram 💻
Pavan B Govindaraju 💻	Alex Lewandowski 💻	Raj Ghugare 💻	Roman Bange 💻	Felix Chalumeau 💻	Rishabh Varshney 💻	Zachary Sunberg 💻 📖 🚧 🤔
Jonathan Laurent 🤔	Andriy Drozdyuk 📖	Ritchie Lee 🐛	Xirui Zhao 💻	Nerd 📖	Albin Heimerson 💻 📖 🚧	michelangelo21 🐛
GuoYu Yang 📖 💻 🐛	Prasidh Srikumar 💻	Ilan Coulon 💻	Jinrae Kim 📖 🐛	luigiannelli 🐛	Jacob Boerma 💻	Xavier Valcarce 🐛
Ashwani Rathee 💻	Goran Nakerst 💻	ultradian 📖	Ikko Ashimine 📖	Krishna Bhogaonker 🐛	Philipp A. Kienscherf 🐛	Stefan Krastanov 📖
LaarsOman 📖	Bo Lu 💻	Peter Chen 💻 📖	Shuhua Gao 💻 💬	johannes-fischer 💻	Tom Marty🐛 💻	Abhinav Bhatia…… ……
Harley Wiltzer…… …… ……	Dylan Asmar……	andreyzhitnikov……	Andrea PIERRÉ……	Mo8it……	Benoît Legat……	Henri Dehaybe…… ……
NPLawrence……	Bileam Scheuvens……	Jarbus……	tyleringebrand……	baedan……	ll7……	Matthew LeMay……
Ludvig Killingberg……

本项目遵循 all-contributors 规范。欢迎任何形式的贡献！

ReinforcementLearning.jl 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、macOS 或 Linux。
• Julia 版本：建议安装最新稳定版 Julia（1.6 或更高版本）。
  • 下载地址：https://julialang.org/downloads/
  • 国内加速：中国用户可访问清华源镜像下载：https://mirrors.tuna.tsinghua.edu.cn/julia-releases/
• 前置依赖：无需额外安装 Python 或其他深度学习框架，本库纯 Julia 编写。

提示：为了获得更快的包下载速度，建议在首次启动 Julia 时配置国内镜像源。在 Julia REPL 中执行以下命令设置清华源：

import Pkg
Pkg.Registry.add(Pkg.RegistrySpec(url="https://mirrors.tuna.tsinghua.edu.cn/git/julia/General.git"))
ENV["JULIA_PKG_SERVER"] = "https://mirrors.tuna.tsinghua.edu.cn/julia"

安装步骤

启动 Julia REPL，进入包管理模式（按 ] 键），然后运行以下命令安装核心包：

julia> ] add ReinforcementLearning

安装完成后，退出包管理模式（按 Backspace 键），并在代码中引入该包：

julia> using ReinforcementLearning

基本使用

ReinforcementLearning.jl 的核心设计理念是将实验拆解为四个关键组件：策略 (Policy)、环境 (Environment)、停止条件 (Stop Condition) 和 钩子 (Hook)。

以下是一个最简示例，展示如何让一个随机策略智能体在经典的“倒立摆”环境中运行 1000 步，并记录每集的总奖励：

julia> run(
           RandomPolicy(),
           CartPoleEnv(),
           StopAfterNSteps(1_000),
           TotalRewardPerEpisode()
       )

代码解析

• RandomPolicy(): 最简单的策略，每一步随机生成动作。它是 AbstractPolicy 的实例。
• CartPoleEnv(): 经典的强化学习测试环境（倒立摆），实现了 AbstractEnv 接口。
• StopAfterNSteps(1_000): 设定实验停止条件，即在运行 1000 步后自动结束。
• TotalRewardPerEpisode(): 一个常用的钩子（Hook），用于收集并记录每个回合（Episode）的累计奖励。

您可以基于此模板，替换不同的策略（如 DQN、PPO 等）和环境，快速构建和复现各种强化学习实验。更多高级用法请参考官方教程。