RecurrentJS

RecurrentJS 是一个 JavaScript 库，实现了以下功能：

• 深度 循环神经网络（RNN）
• 长短期记忆网络（LSTM）
• 实际上，该库更加通用，因为它具备构建任意 表达式图 的功能，并且可以在这些图上执行 自动微分，类似于 Python 中的 Theano 或 Torch 等工具。目前，代码利用这一通用功能实现了 RNN/LSTM，但用户也可以构建任意神经网络并进行自动反向传播。

在线演示

下面提供了一个在线演示，用于记忆字符序列。输入数据是句子，网络被训练来预测句子中的下一个字符。因此，它们可以从零开始逐字符地学习英语，并在经过一定训练后生成全新的句子，有时甚至能说得通 :)

字符序列记忆演示

示例代码

该库的核心是一个 Graph 结构，它维护矩阵之间的连接关系以及它们通过变换相互关联的方式。另一个重要的组成部分是 Mat 类，它表示一个二维的 N x D 矩阵，其值存储在 .w 字段中，导数存储在 .dw 字段中。以下是如何实现一个简单的神经网络层：

var W = new R.RandMat(10, 4); // 权重矩阵
var x = new R.RandMat(4, 1); // 随机输入矩阵
var b = new R.RandMat(10, 1); // 偏置向量

// 矩阵乘法后加上偏置。h 是一个 Mat
var G = new R.Graph();
var h = G.add(G.mul(W, x), b); 
// Graph 结构会跟踪各个 Mat 之间的连接关系

// 现在我们可以为 h 设置损失
h.dw[0] = 1.0; // 假设我们希望第一个值更低

// 将所有梯度从 h 开始，沿着图反向传播到 W、x 和 b
// 即为 W、x 和 b 的 .dw 字段设置梯度
G.backward();

// 对 W 和 b 进行参数更新：
var s = new R.Solver(); // Solver 使用 RMSProp 算法
// 更新 W 和 b，学习率为 0.01，正则化强度为 0.0001，并将梯度大小限制在 5.0 以内
var model = {'W':W, 'b':b};
s.step(model, 0.01, 0.0001, 5.0)

例如，要构建并训练一个 LSTM，可以按照以下步骤进行：

// 输入为 10x1 的矩阵，包含两层隐藏层，每层 20 个神经元，输出为 2x1 的矩阵
var hidden_sizes = [20, 20];
var lstm_model = R.initLSTM(10, hidden_sizes, 2);
var x1 = new R.RandMat(10, 1); // 示例输入 #1
var x2 = new R.RandMat(10, 1); // 示例输入 #2
var x3 = new R.RandMat(10, 1); // 示例输入 #3

// 将三个示例输入传递给 LSTM
var G = new R.Graph();
var out1 = R.forwardLSTM(G, lstm_model, hidden_sizes, x1, {});
var out2 = R.forwardLSTM(G, lstm_model, hidden_sizes, x2, out1);
var out3 = R.forwardLSTM(G, lstm_model, hidden_sizes, x3, out2);

// 字段 .o 包含输出矩阵：
// 例如，x1.o 是一个 2x1 的矩阵
// 假设我们有一个二分类问题
// LSTM 的输出是两个类别的对数概率。首先计算概率：
var prob1 = R.softmax(out1.o);
var target1 = 0; // 假设第一个输入属于类别 0
cost += -Math.log(probs.w[ix_target]); // softmax 损失函数

// softmax 的交叉熵损失就是概率本身：
out1.dw = prob1.w;
// 但正确类别的概率还要减去 1：
out1.dw[ix_target] -= 1;

// 在实际应用中，你可能需要为每个输入指定目标类别，因此需要依次为每个输入设置 .dw 损失。在提供的示例演示中，我们正在预测输入句子中下一个字母的索引。

// 更新 LSTM 参数
G.backward();
var s = new R.Solver();

// 使用 RMSProp 算法进行更新，步长为 0.01，
// L2 正则化为 0.00001，
// 并将梯度按元素限制在 5.0 以内
s.step(lstm_model, 0.01, 0.00001, 5.0);

你会注意到，Softmax 等操作尚未很好地集成到库中，因此你需要理解反向传播的过程。我很快会修复这个问题。

警告：测试版

这段代码运行良好，但还有一些粗糙的地方——如果你想要使用它，必须对神经网络有深入的理解，而且代码的模块化程度还不够高。不过，我认为现在还是应该先公开代码，以后再进一步完善。因为即使在当前状态下，它也可能对那些想尝试训练这些模型或学习相关知识的人有所帮助。

许可证

MIT

RecurrentJS 快速上手指南

RecurrentJS 是一个 JavaScript 库，用于实现深度循环神经网络（RNN）和长短期记忆网络（LSTM）。其核心功能是构建任意表达式图并执行自动微分（类似 Python 中的 Theano 或 Torch），目前主要用于构建和训练 RNN/LSTM 模型。

注意：本项目处于 Beta 阶段，代码较为底层，使用者需具备一定的神经网络反向传播知识。

环境准备

• 系统要求：支持现代浏览器的操作系统，或安装了 Node.js 的环境。
• 前置依赖：无外部重型依赖，只需引入 recurrent.js 文件即可运行。
• 推荐环境：
  • 浏览器端：直接在 HTML 中通过 <script> 标签引入。
  • Node.js 端：确保已安装 Node.js (建议 v12+)。

安装步骤

由于该库较老且未发布到 npm 官方仓库，推荐直接下载源码或使用 CDN 引入。

方式一：浏览器直接引入（推荐新手）

在 HTML 文件中直接引用库文件：

<script src="https://cs.stanford.edu/people/karpathy/recurrentjs/recurrent.js"></script>

或者下载源码后本地引用：

git clone https://github.com/karpathy/recurrentjs.git

然后在 HTML 中引用本地文件：

<script src="recurrentjs/recurrent.js"></script>

方式二：Node.js 环境

若需在 Node.js 中使用，克隆仓库后直接在代码中 require：

git clone https://github.com/karpathy/recurrentjs.git
cd recurrentjs

在代码中加载：

var R = require('./recurrent.js');

基本使用

以下示例展示如何构建一个简单的神经网络层，并进行前向传播、损失计算、反向传播及参数更新。

1. 构建简单神经网络层

// 假设 R 已加载 (浏览器全局变量 或 Node.js require)

var W = new R.RandMat(10, 4); // 权重矩阵
var x = new R.RandMat(4, 1);  // 随机输入矩阵
var b = new R.RandMat(10, 1); // 偏置向量

// 创建计算图
var G = new R.Graph();
// 矩阵乘法后加上偏置，h 为输出矩阵
var h = G.add(G.mul(W, x), b); 

// 设置损失梯度 (例如：希望第一个值变小)
h.dw[0] = 1.0; 

// 反向传播，计算 W, x, b 的梯度
G.backward();

// 参数更新
var s = new R.Solver(); // 使用 RMSProp 优化器
var model = {'W':W, 'b':b};
// 学习率 0.01, L2 正则化 0.0001, 梯度裁剪 5.0
s.step(model, 0.01, 0.0001, 5.0);

2. 构建并训练 LSTM 模型

以下示例展示如何初始化一个 LSTM，并通过三个时间步进行前向传播和训练。

// 初始化 LSTM: 输入维度 10, 两个隐藏层各 20 个神经元，输出维度 2
var hidden_sizes = [20, 20];
var lstm_model = R.initLSTM(10, hidden_sizes, 2);

// 准备输入数据
var x1 = new R.RandMat(10, 1); 
var x2 = new R.RandMat(10, 1); 
var x3 = new R.RandMat(10, 1); 

// 构建计算图并前向传播
var G = new R.Graph();
var out1 = R.forwardLSTM(G, lstm_model, hidden_sizes, x1, {});
var out2 = R.forwardLSTM(G, lstm_model, hidden_sizes, x2, out1);
var out3 = R.forwardLSTM(G, lstm_model, hidden_sizes, x3, out2);

// 计算 Softmax 概率 (假设是二分类问题)
var prob1 = R.softmax(out1.o);
var ix_target = 0; // 假设真实类别为 0

// 计算交叉熵损失 (仅演示逻辑，实际需累加 cost)
// cost += -Math.log(prob1.w[ix_target]); 

// 设置输出梯度
out1.dw = prob1.w;       // 梯度初始化为概率
out1.dw[ix_target] -= 1; // 正确类别梯度减 1

// 反向传播
G.backward();

// 更新 LSTM 参数
var s = new R.Solver();
// 学习率 0.01, L2 正则化 0.00001, 梯度裁剪 5.0
s.step(lstm_model, 0.01, 0.00001, 5.0);

在线演示

您可以访问官方提供的字符序列记忆演示，观察模型如何从头学习英文并生成新句子： Character Sequence Memorization Demo