起源

原始的 RNNLIB 托管在 http://sourceforge.net/projects/rnnl 上，而这个“分叉”项目是为了复现论文 http://arxiv.org/abs/1308.0850 中报告的在线手写预测与合成结果。该论文是 Alex Graves 关于 LSTM 网络的经典之作，展示了循环神经网络能够从序列输入中学习到何种结构信息。

构建

构建 rnnlib 需要以下工具和库：

• C++11 编译器
• Fortran（用于编译 OpenBLAS）
• cmake
• libcurl
• automake
• libtool
• texinfo

此外，utils 目录中的辅助脚本还需要以下 Python 包：

• SciPy
• PyLab
• PIL

同时，为了使用 Python 创建和操作 NetCDF 数据文件，并运行 examples 目录中的实验，还需要安装：

• ScientificPython（而非 Scipy）

构建 RNNLIB 的步骤如下：

$ cmake -DCMAKE_BUILD_TYPE=Release . $ cmake --build .

执行 cmake 后，当前目录下会生成 rnnlib、rnnsynth 和 gradient_check 三个可执行文件。

建议将包含 rnnlib 可执行文件的目录添加到系统的 PATH 环境变量中，否则 utilities 目录下的工具将无法正常工作。

cmake 还可以为集成开发环境生成项目文件。运行 cmake --help 可查看支持的 IDE 列表。

手写合成

进入 examples/online_prediction 目录，按照以下步骤准备训练数据、训练模型并最终绘制合成结果：

下载在线手写数据集

首先需要注册并下载笔画数据：

http://www.iam.unibe.ch/~fkiwww/iamondb/data/lineStrokes-all.tar.gz

笔画对应的文本标签可在以下链接获取：

http://www.iam.unibe.ch/~fkiwww/iamondb/data/ascii-all.tar.gz

然后将 ./lineStrokes 和 ./ascii 解压到 examples/online_prediction 目录下。下载的数据格式不能直接使用，还需要进一步预处理，将笔触坐标转换为相对于前一点的偏移量，并合并成一个 NetCDF 格式的文件。

准备训练数据

运行 ./build_netcdf.sh 脚本，将数据集划分为训练集和验证集。该脚本还会完成所有必要的预处理工作，包括输入归一化，并生成可用于 rnnlib 的 online.nc 和 online_validation.nc 文件。

online.nc 中的每个输入序列点由三个数值组成：相对于前一点的 x 和 y 偏移量，以及一个表示笔画结束的二进制标志。

梯度检查

为了确认构建是否正确，可以运行梯度检查：

gradient_check --autosave=false check_synth2.config

训练

训练分为两个步骤。首先不使用权重正则化进行训练，然后再基于第一步记录的最佳网络，加入自适应权重噪声（rnnlib 中称为 MDL）进行第二次训练。如果一开始就使用 MDL 正则化，收敛速度会非常慢。

第一步

rnnlib --verbose=false synth1d.config

其中 synth1d.config 是第一步的配置文件，定义了网络拓扑结构：3 层各 400 个单元的 LSTM 隐层，输出层为 20 个高斯混合模型，字符变形窗口层为 10 个混合模型。

在训练的第 10 至 15 个 epoch 之间，模型通常会找到最优解，并在连续 20 个 epoch 内未见改进时自动停止训练。在 Intel Sandybridge CPU 上，这一过程大约需要 3 天时间。一般情况下，只要损失函数连续 2–3 个 epoch 不降反升，就可以停止训练。最佳模型会被保存在 synth1d@<time step>.best_loss.save 文件中。

第二步

第一步得到的最佳损失误差约为 -1080 nats，通过使用权重正则化还可以再提升约 10%。与第一步不同，第二步的损失值会在训练过程中上下波动。因此，在宣布提前停止之前需要更加耐心，等待连续 20 个 epoch 的损失都高于当前最佳结果。rnnlib 实现了 MDL 正则化器，本步骤即采用此方法。命令如下：

rnnlib --mdl=true --mdlOptimiser=rmsprop from_step1.best_loss.save

合成

手写合成由 rnnsynth 可执行文件完成，使用第二步训练得到的网络参数：

rnnsynth from_step2.best_loss.save

字符序列通过标准输入提供，输出则写入标准输出。输出序列与输入相同，每个数据点包含 x、y 偏移量和笔画结束标志。

绘制结果

rnnsynth 的输出是 x、y 偏移量和笔画结束标志的序列。可以使用 Octave 脚本 show_pen.m 来可视化：

octave:>show_pen('/tmp/trace1')

其中 /tmp/trace1 包含 rnnsynth 的标准输出内容。

Rnnlib 配置文件

配置选项的说明请参阅 http://sourceforge.net/p/rnnl/wiki/Home/。此后又新增了一些功能：

• lstm1d 作为隐藏层类型——当输入维度为 1D 时优化的 LSTM 层。
• rmsprop 优化器类型。
• mixtures=N ——输出层中高斯混合模型的数量。
• charWindowSize=N ——字符窗口层中高斯混合模型的数量。
• skipConnections=true|false ——是否启用跳跃连接；默认为 true。

联系方式

如有问题，请在 GitHub 上创建 Issue 进行讨论。

rnnlib 快速上手指南

rnnlib 是一个用于复现 Alex Graves 关于 LSTM 网络在手写预测与合成方面经典研究成果的开源工具。本指南将帮助中国开发者快速完成环境搭建、编译及基础运行。

环境准备

在开始之前，请确保您的系统满足以下要求并安装了必要的依赖包。

系统要求

• 操作系统: Linux (推荐) 或 macOS
• 编译器: 支持 C++11 标准的编译器 (如 g++ 4.8+)
• 构建工具: cmake, automake, libtool, texinfo
• 语言环境: Fortran (用于编译 OpenBLAS)

依赖安装

请使用您的包管理器安装以下库。以 Ubuntu/Debian 为例：

sudo apt-get update
sudo apt-get install build-essential cmake gfortran libcurl4-openssl-dev automake libtool texinfo

此外，辅助脚本和实验运行需要以下 Python 包：

• 基础依赖: SciPy, PyLab (Matplotlib), PIL (Pillow)
• 核心依赖: ScientificPython (注意: 不是 Scipy，用于处理 netcdf 数据)

安装 Python 依赖：

pip install scipy matplotlib pillow
# ScientificPython 可能需要从源码编译或通过特定源安装，若 pip 失败请尝试：
# sudo apt-get install python-scientific (针对旧版系统) 或查阅官方编译指南

安装步骤

1. 克隆与编译

获取代码后，在项目根目录执行以下命令进行构建：

cmake -DCMAKE_BUILD_TYPE=Release .
cmake --build .

编译成功后，当前目录将生成 rnnlib, rnnsynth 和 gradient_check 三个可执行文件。

2. 配置环境变量

为了确保 utils 目录下的辅助工具能正常工作，建议将包含上述二进制文件的目录添加到系统 PATH 中：

export PATH=$PATH:/path/to/rnnlib/directory

(请将 /path/to/rnnlib/directory 替换为您的实际路径)

提示: 如需生成 IDE (如 Eclipse, CodeBlocks) 项目文件，可运行 cmake --help 查看支持的生成器选项。

基本使用

以下以手写合成 (Handwriting Synthesis) 为例，展示从数据准备到模型训练及生成的完整流程。所有操作请在 examples/online_prediction 目录下进行。

1. 数据准备

下载 IAM 在线手写数据库的笔触数据和文本标签，并解压至当前目录：

• 笔触数据: lineStrokes-all.tar.gz
• 文本标签: ascii-all.tar.gz

由于原始数据格式无法直接使用，需运行预处理脚本将其转换为 netcdf 格式并划分为训练集/验证集：

./build_netcdf.sh

该脚本会生成 online.nc (训练集) 和 online_validation.nc (验证集)。输入序列中的每个点包含：x/y 偏移量及笔触结束标志位。

2. 梯度检查 (可选)

在正式训练前，建议运行梯度检查以确认构建无误：

gradient_check --autosave=false check_synth2.config

3. 模型训练

训练分为两个阶段，以获得最佳效果。

第一阶段：无正则化预训练 使用 synth1d.config 配置（3 层 LSTM，每层 400 单元）进行训练。通常在 10-15 个 epoch 后达到最优，若损失连续 2-3 个 epoch 上升即可手动停止。

rnnlib --verbose=false synth1d.config

训练完成后，最佳模型保存为 synth1d@<time_step>.best_loss.save。此时损失值通常在 -1080 nats 左右。

第二阶段：MDL 正则化微调 利用第一阶段的最佳模型，开启 MDL (最小描述长度) 正则化和 RMSprop 优化器进行微调，可进一步提升约 10% 的性能。

rnnlib --mdl=true --mdlOptimiser=rmsprop synth1d@<time_step>.best_loss.save

注意：此阶段损失值会有波动，需更有耐心，建议等待损失值连续 20 个 epoch 未优于历史最佳后再停止。

4. 手写合成与可视化

使用训练好的模型生成手写轨迹。将字符序列通过标准输入传入，轨迹数据将输出到标准输出：

rnnsynth from_step2.best_loss.save > /tmp/trace1

(在命令行交互中输入想要合成的文本，按 Ctrl+D 结束)

可视化结果 输出的 /tmp/trace1 文件包含 x/y 偏移量和笔触标志。使用 Octave 脚本进行绘图：

octave
> show_pen('/tmp/trace1')

配置文件说明

rnnlib 的配置文件支持多种自定义参数，常用新增选项包括：

• hiddenType=lstm1d: 针对一维输入优化的 LSTM 层。
• optimizer=rmsprop: 使用 RMSprop 优化器。
• mixtures=N: 输出层高斯混合模型的数量。
• charWindowSize=N: 字符窗口层的高斯混合数量。
• skipConnections=true|false: 是否添加跳跃连接 (默认 true)。

详细配置文档可参考原项目 Wiki。如有问题，请在 GitHub Issues 中讨论。