char-rnn

这段代码实现了用于字符级语言模型训练和采样的多层循环神经网络（RNN、LSTM 和 GRU）。换句话说，该模型以一个文本文件作为输入，训练一个循环神经网络，使其学会预测序列中的下一个字符。随后，可以使用这个 RNN 逐字符生成与原始训练数据风格相似的文本。关于该代码库的背景和详细说明，请参阅我的博客文章。

如果你是 Torch/Lua/神经网络的新手，可能需要了解的是，这段代码实际上只是我用 Python/numpy 编写的100 行 gist的一个稍微复杂一些的版本。本仓库中的代码还额外支持多层结构、使用 LSTM 而不是普通的 RNN、增加了模型检查点保存等辅助功能，并且由于采用了小批量训练和 GPU 加速，效率也更高。

更新：torch-rnn

Justin Johnson (@jcjohnson) 最近从头重新实现了一个更简洁、更高效、更易用的 Torch 版本的 char-rnn，项目名为 torch-rnn。它使用 Adam 优化器，并为提高空间和时间效率而硬编码了 RNN/LSTM 的前向和反向传播过程。这同时也避免了本仓库中克隆模型时可能出现的问题。因此，现在默认应该使用 torch-rnn 而不是本代码库中的实现。

环境要求

此代码使用 Lua 编写，需要依赖 Torch 框架。如果你使用 Ubuntu 系统，在家目录下安装 Torch 的步骤大致如下：

$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
$ git clone https://github.com/torch/distro.git ~/torch --recursive
$ cd ~/torch; 
$ ./install.sh      # 最后回答“yes”以修改你的 .bashrc 文件
$ source ~/.bashrc

更多细节请参考 Torch 的官方安装文档。安装完 Torch 后，还需要通过 LuaRocks 安装几个额外的包（这些工具在 Torch 安装时已一并提供）：

$ luarocks install nngraph 
$ luarocks install optim
$ luarocks install nn

如果你想使用 NVIDIA GPU 并借助 CUDA 进行加速（通常可提升约 15 倍的速度），则需要配备相应的 GPU，并安装 CUDA 工具包。接着再安装 cutorch 和 cunn 包：

$ luarocks install cutorch
$ luarocks install cunn

如果你希望使用 OpenCL GPU（例如 ATI 显卡），则需要安装 cltorch 和 clnn 包，并在训练时添加 -opencl 1 参数（相关问题请参见 cltorch 的 GitHub 问题页面)：

$ luarocks install cltorch
$ luarocks install clnn

使用方法

数据

所有输入数据都存储在 data/ 目录下。你会注意到仓库中包含了一个示例数据集（位于 data/tinyshakespeare 文件夹），它是莎士比亚作品的一部分。此外，我还提供了更多数据集，详情请访问此页面。

自定义数据：如果想使用自己的数据，只需创建一个名为 input.txt 的单个文件，并将其放入 data/ 目录下的某个文件夹中，例如 data/some_folder/input.txt。首次运行训练脚本时，程序会进行预处理，并在 data/some_folder 中生成两个方便使用的缓存文件。

数据规模：需要注意的是，如果数据量过小（1MB 已经算非常小了），RNN 很难有效学习，因为它必须完全从零开始学习所有内容。相反，如果数据量较大（超过约 2MB），则可以放心地增加 rnn_size 参数，训练一个更大的模型（具体参数设置见下文的训练部分），这样效果会显著更好。例如，当数据量达到 6MB 时，可以将 rnn_size 提高到 300 甚至更高。我在自己的 GPU 上尝试过的最大配置是 rnn_size 700、num_layers 3（默认值为 2）。

训练

使用 train.lua 开始训练模型。作为 sanity check，要运行附带的示例数据集，只需尝试：

$ th train.lua -gpuid -1

请注意，这里我们将标志 gpuid 设置为 -1，这会指示代码使用 CPU 进行训练；否则默认使用 GPU 0。还有许多其他标志用于各种选项。请参阅 $ th train.lua -help 获取全面的设置说明。以下是另一个示例，它训练一个更大的网络，并展示了如何在您自己的自定义数据集上运行（此操作已假定 data/some_folder/input.txt 存在）：

$ th train.lua -data_dir data/some_folder -rnn_size 512 -num_layers 2 -dropout 0.5

检查点。 在模型训练期间，它会定期将检查点文件写入 cv 文件夹。这些检查点的写入频率由迭代次数控制，具体由 eval_val_every 选项指定（例如，如果该值为 1，则每迭代都会写入一个检查点）。这些检查点的文件名包含一个非常重要的数字：损失值。例如，文件名为 lm_lstm_epoch0.95_2.0681.t7 的检查点表示此时模型处于第 0.95 个 epoch（即几乎完成了一轮完整的训练数据遍历），且验证集上的损失值为 2.0681。这个数值非常重要，因为其越低，检查点的效果越好。一旦开始生成数据（如下所述），您将希望使用报告最低验证损失的模型检查点。请注意，这并不一定是训练结束时的最后一个检查点（由于可能过拟合）。

另外需要关注的重要参数包括 batch_size（记作 B）、seq_length（记作 S），以及 train_frac 和 val_frac 设置。批大小指一次并行处理的数据流数量。序列长度则指每个数据流的长度，同时也是梯度可以反向传播的时间上限。例如，若 seq_length 为 20，则梯度信号永远不会回传超过 20 个时间步，模型也可能无法“发现”超过该字符数的长期依赖关系。因此，如果您有一个非常困难的数据集，其中存在大量长期依赖关系，那么您应该提高此设置。现在，如果您的输入文本文件有 N 个字符，它们首先会被分割成大小为 BxS 的块。这些块随后会根据 frac 设置被分配到训练/验证/测试三个部分中。默认情况下，train_frac 为 0.95，val_frac 为 0.05，这意味着我们 95% 的数据块将用于训练，而 5% 的块则用于估计验证损失（从而评估泛化能力）。如果您的数据量较小，按照默认设置，您可能总共只有很少的块（例如 100 块）。这是不好的：在这种情况下，您可能需要减小批大小或序列长度。

请注意，您还可以使用 init_from 从先前保存的检查点初始化参数。

采样

给定一个检查点文件（例如写入 cv 文件夹中的那些），我们可以生成新文本。例如：

$ th sample.lua cv/some_checkpoint.t7 -gpuid -1

请确保如果您的检查点是用 GPU 训练的，那么采样时也应使用 GPU，反之亦然。否则代码（目前）会报错。与训练脚本类似，可参阅 $ th sample.lua -help 查看完整选项。其中一个重要选项是 -length 10000，它将生成 10,000 个字符（默认为 2000）。

温度。 您可能想要尝试的一个重要参数是 -temperature，它取范围为 (0, 1] 的数值（不包括 0），默认值为 1。温度会在 Softmax 之前对预测的对数概率进行归一化，因此较低的温度会使模型做出更可能但同时也更单调和保守的预测。较高的温度则会让模型承担更多风险，增加结果的多样性，但代价是可能出现更多错误。

预热。 您还可以使用 -primetext 参数用一些起始文本对模型进行预热。这会用一些硬编码的字符初始化 RNN，以便在开始生成文本之前为其提供上下文。例如，一个有趣的预热文本可能是 -primetext "生命的意义是 "。

用 GPU 训练但在 CPU 上采样。 目前的解决方法是使用 convert_gpu_cpu_checkpoint.lua 脚本将 GPU 检查点转换为 CPU 检查点。在不久的将来，您将无需再手动执行此操作。例如：

$ th convert_gpu_cpu_checkpoint.lua cv/lm_lstm_epoch30.00_1.3950.t7

将会创建一个新的文件 cv/lm_lstm_epoch30.00_1.3950.t7_cpu.t7，您可以将其与采样脚本一起使用，并通过 -gpuid -1 以 CPU 模式运行。

祝您采样愉快！

小贴士与技巧

监控验证损失与训练损失

如果您对机器学习或神经网络不太熟悉，获得良好的模型可能需要一定的经验积累。最重要的是要跟踪您的训练损失（在训练过程中打印）与验证损失（当 RNN 在验证数据上运行时偶尔打印， 默认每 1000 次迭代打印一次）之间的差异。具体来说：

• 如果您的训练损失远低于验证损失，则表明网络可能存在 过拟合 问题。解决办法是减小网络规模或增加 dropout。例如，您可以尝试将 dropout 设置为 0.5 等。
• 如果您的训练损失和验证损失大致相等，则说明您的模型正在 欠拟合。此时应增大模型规模（无论是层数还是每层的神经元数量）。

参数数量的近似估算

控制模型的两个最重要的参数是 rnn_size 和 num_layers。我建议您始终将 num_layers 设置为 2 或 3。rnn_size 可根据您拥有的数据量进行调整。在此过程中，有两个重要指标需要关注：

• 您的模型中的参数数量。这会在您开始训练时打印出来。
• 您的数据集大小。1MB 的文件大约包含 100 万个字符。

这两者应在数量级上大致相当。判断起来可能有些棘手。以下是一些例子：

• 我有一个 100MB 的数据集，使用的是默认参数设置（当前打印出约 15 万个参数）。我的数据量明显更大（1000 万 >> 15 万），因此预计会严重欠拟合。我认为我可以放心地增大 rnn_size。
• 我有一个 10MB 的数据集，却运行着一个拥有 1000 万个参数的模型。我有些紧张，正在仔细监控验证损失。如果验证损失高于训练损失，或许可以尝试稍微增加 dropout，看看是否有助于降低验证损失。

最佳模型策略

要想获得非常好的模型（如果你有足够的计算时间），最佳策略就是尽可能地把网络做得更大（大到你能接受的等待时间为止），然后尝试不同的 Dropout 值（在 0 到 1 之间）。最终选择验证性能最好的模型，即检查点文件名中记录的损失值最低的那个。

在深度学习中，通常会运行许多不同超参数设置的模型，并最终选择验证性能最好的那个检查点。

顺便提一下，训练集和验证集的划分比例也是超参数之一。请确保验证集中有足够的数据，否则验证性能会非常不稳定，难以提供有价值的参考。

补充说明与致谢

这段代码最初基于牛津大学机器学习课程的实践作业第 6 题 practical 6，而该实践作业又源自 Wojciech Zaremba 的 learning to execute 项目。此外，代码的部分内容也与我的实验室伙伴 Justin Johnson 合作开发而成，他的个人主页是 http://cs.stanford.edu/people/jcjohns/。

若想深入了解 RNN 语言模型，我推荐以下资源：

• 我最近关于 char-RNN 的演讲：Visualizing and Understanding Recurrent Networks
• Alex Graves 的论文 Generating Sequences With Recurrent Neural Networks
• Ilya Sutskever 的论文 Generating Text with Recurrent Neural Networks
• Tomas Mikolov 的博士论文 Tomas Mikolov's Thesis

许可证

MIT

char-rnn 快速上手指南

char-rnn 是一个基于多层循环神经网络（RNN、LSTM、GRU）的字符级语言模型工具。它通过学习文本文件中字符的序列规律，能够生成风格相似的新文本。

注意：本项目基于 Lua/Torch 框架。原作者推荐的新版本实现为 torch-rnn，性能更优且代码更简洁，建议新项目优先尝试 torch-rnn。若需使用本仓库代码，请参考以下指南。

环境准备

本工具依赖 Lua 和 Torch 深度学习框架。支持 CPU 训练，若拥有 NVIDIA GPU 并安装 CUDA，可获得约 15 倍的加速效果。

前置依赖：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS
• GPU 加速（可选）：NVIDIA GPU + CUDA Toolkit 或 ATI/AMD GPU + OpenCL
• 包管理器：LuaRocks (随 Torch 自动安装)

安装步骤

1. 安装 Torch 框架

在终端执行以下命令安装 Torch 及其依赖（以 Ubuntu 为例，安装到用户主目录）：

$ curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
$ git clone https://github.com/torch/distro.git ~/torch --recursive
$ cd ~/torch; 
$ ./install.sh      # 末尾提示时输入 "yes" 以修改 bashrc
$ source ~/.bashrc

2. 安装必要的 Lua 模块

使用 luarocks 安装核心依赖包：

$ luarocks install nngraph 
$ luarocks install optim
$ luarocks install nn

3. 安装 GPU 支持（可选）

若需使用 GPU 加速，请根据显卡类型选择其一：

NVIDIA GPU (CUDA): 先安装 CUDA Toolkit，然后运行：

$ luarocks install cutorch
$ luarocks install cunn

AMD/ATI GPU (OpenCL):

$ luarocks install cltorch
$ luarocks install clnn

注：使用 OpenCL 训练时需添加 -opencl 1 参数。

基本使用

1. 准备数据

所有数据存放在 data/ 目录下。

• 使用示例数据：仓库已内置 data/tinyshakespeare（莎士比亚作品子集）。
• 使用自定义数据：在 data/ 下新建文件夹（如 data/my_data），将你的文本文件重命名为 input.txt 放入其中。
  • 提示：数据集建议大于 1MB，否则模型难以有效学习；若数据超过 2MB，可适当增大模型参数。

2. 训练模型

使用 train.lua 脚本开始训练。

最简单的 CPU 训练示例（使用内置数据）：

$ th train.lua -gpuid -1

• -gpuid -1：强制使用 CPU 训练。若不加此参数，默认使用 GPU 0。

自定义数据与更大模型示例：

$ th train.lua -data_dir data/my_data -rnn_size 512 -num_layers 2 -dropout 0.5

• 训练过程中会在 cv/ 目录生成检查点文件（.t7）。文件名包含验证集损失值（loss），数值越低代表模型效果越好。

3. 生成文本

使用 sample.lua 脚本加载训练好的检查点生成新文本。

基本生成命令：

$ th sample.lua cv/lm_lstm_epochX.XX_YYYYYY.t7 -gpuid -1

• 请确保采样时的设备设置（CPU/GPU）与训练时一致。若训练用 GPU 而采样用 CPU，需先运行 convert_gpu_cpu_checkpoint.lua 转换模型文件。

常用参数：

• -length 10000：生成 10,000 个字符（默认 2000）。
• -temperature 0.8：控制生成的随机性。范围 (0, 1]。
  • 值越小（如 0.5）：输出更保守、确定性强，但可能枯燥。
  • 值越大（如 1.2）：输出更多样化，但可能出现错误。
• -primetext "hello"：提供起始文本，让模型基于此上下文继续生成。