REINFORCEjs

REINFORCEjs 是一个强化学习库，实现了多种常见的强化学习算法，并配有网页演示。目前该库主要包括以下内容：

• 动态规划 方法
• （表格型）时序差分学习（SARSA/Q-Learning）
• 使用神经网络进行函数逼近的 深度Q学习
• 用于处理连续动作空间的 随机/确定性策略梯度 以及演员-评论家架构。（处于非常早期的开发阶段，可能存在较多 bug，至少会比较复杂且结果不一致）

更多详细信息、文档和演示请参见 主页面。

代码概览

该库导出了两个全局变量：R 和 RL。前者包含用于构建表达式图（例如 LSTM）和执行自动反向传播的各种工具函数，它是我的另一个项目 recurrentjs 的分支。RL 对象则包含了当前的实现：

• RL.DPAgent 用于具有环境动态的有限状态/动作空间
• RL.TDAgent 用于有限状态/动作空间
• RL.DQNAgent 用于连续状态特征但离散动作的情况

典型的使用方式可能如下所示：

// 创建一个环境对象
var env = {};
env.getNumStates = function() { return 8; }
env.getMaxNumActions = function() { return 4; }

// 创建 DQN 智能体
var spec = { alpha: 0.01 } // 完整选项请参阅 DQN 页面
agent = new RL.DQNAgent(env, spec); 

setInterval(function(){ // 开始学习循环
  var action = agent.act(s); // s 是一个长度为 8 的数组
  //... 在环境中执行动作并获取奖励
  agent.learn(reward); // 智能体会根据奖励改进其 Q 函数、策略、模型等，reward 是一个浮点数
}, 0);

完整的文档和演示请访问 主页面。

许可证

MIT 许可证。

REINFORCEjs 快速上手指南

REINFORCEjs 是一个基于 JavaScript 的强化学习库，由 Andrej Karpathy 开发。它实现了多种常见的 RL 算法（如动态规划、时序差分学习、深度 Q 学习等），并提供了网页演示。该库特别适合在浏览器端进行强化学习实验和教学。

环境准备

• 系统要求：任意支持现代浏览器的操作系统（Windows/macOS/Linux）。
• 运行环境：
  • 浏览器（推荐 Chrome、Firefox 或 Edge）
  • 或 Node.js 环境（需额外配置，官方主要面向浏览器）
• 前置依赖：无外部依赖，库本身已包含所需功能（基于 recurrentjs 分支）。

💡 提示：由于该库主要通过 <script> 标签引入，无需使用 npm 安装。国内开发者可直接通过 CDN 加速加载。

安装步骤

1. 在 HTML 文件中直接引入 REINFORCEjs：

<script src="https://cs.stanford.edu/people/karpathy/reinforcejs/reinforce.min.js"></script>

🚀 国内加速建议：若上述链接访问较慢，可下载 reinforce.min.js 文件至本地项目目录，或使用国内 CDN 镜像（如有）。

2. 确保脚本在页面加载完成后执行，例如放在 </body> 前或使用 DOMContentLoaded 事件。

基本使用

以下是一个使用 Deep Q-Learning (DQN) 代理的最简示例：

// 创建环境对象
var env = {};
env.getNumStates = function() { return 8; }
env.getMaxNumActions = function() { return 4; }

// 创建 DQN 智能体
var spec = { alpha: 0.01 }; // 学习率等参数，详见官网文档
var agent = new RL.DQNAgent(env, spec); 

// 启动学习循环
setInterval(function(){
  var s = [0, 0, 0, 0, 0, 0, 0, 0]; // 示例状态向量（长度为 8）
  var action = agent.act(s); 
  
  // TODO: 在此处执行动作并获取奖励（reward）
  var reward = 0.0; // 替换为实际奖励值
  
  agent.learn(reward); // 更新策略、Q 值等
}, 0);

可用智能体类型

• RL.DPAgent：适用于有限状态/动作空间且已知环境动态的场景（动态规划）。
• RL.TDAgent：适用于有限状态/动作空间的时序差分学习（如 SARSA、Q-Learning）。
• RL.DQNAgent：适用于连续状态特征但离散动作空间的深度 Q 学习。

📌 注意：策略梯度（Policy Gradients）和 Actor-Critic 模块目前处于早期测试阶段（alpha），可能存在不稳定问题，生产环境请谨慎使用。

更多详细文档、参数说明及交互式演示请访问官方主页：http://cs.stanford.edu/people/karpathy/reinforcejs