描述

本仓库包含一种用于处理序列数据的新型 RNN 模型的代码。该模型在每个前向传播步骤上计算一个递归加权平均值（RWA）。通过这种方法，模型可以在序列中的任意位置建立直接连接。这与传统 RNN 架构仅依赖于前一时刻的状态形成鲜明对比。关于 RWA 模型的详细描述已发表在 https://arxiv.org/pdf/1703.01253.pdf 的论文中。

由于 RWA 可以作为滚动平均值来计算，因此无需在每次前向传播时完全重新计算。分子和分母可以从前一时刻保存下来。因此，该模型的计算复杂度与其他 RNN 模型（如 LSTM）相当。

在每个子文件夹中，RWA 模型都会被应用于不同的任务进行评估，并将其性能与 LSTM 模型进行对比。实验表明，在大多数任务上，RWA 模型的训练速度至少快五倍。随着序列长度的增加，RWA 模型的表现会更加优异。有关各实验结果的具体细节，请参阅上述论文。

注意：RWA 模型在自然语言处理任务上的表现并不具有竞争力。

下载

• 下载：zip
• Git：git clone https://github.com/jostmey/rwa

要求

代码使用 Python 3 编写，并已升级至 TensorFlow 1.0 版本运行。

其他实现

• 作为 TensorFlow RNNCell 的 RWA 模型（我的实现）
• 作为 TensorFlow RNNCell 的 RWA 模型（未测试）
• Keras 中的 RWA 模型（复现了论文中的结果）
• Keras 中的 RWA 模型（未测试）
• PyTorch 中的 RWA 模型（不稳定分支——仍在开发中）
• PyTorch 中的 RWA 模型（数值不稳定的实现）
• Go 语言中的 RWA 模型

致谢

感谢 Alex Nichol 对方程进行修正，以提高数值稳定性。

修正记录（变更日志）

• 2017年3月17日：修正了用于重缩放分子和分母项的公式，以避免溢出和下溢问题。RWA 模型的结果已重新计算。
• 2017年3月26日：修复了加载打乱 MNIST 数据集任务代码中的一个特定 bug。打乱 MNIST 任务的结果已重新计算。
• 2017年4月3日：修复了 LSTM 模型中的一个 bug。该 bug 影响了除复制问题之外的所有结果。LSTM 模型的结果已重新计算。性能未发生显著变化。

RWA 模型快速上手指南

RWA（Recurrent Weighted Average）是一种新型循环神经网络架构，通过对序列中所有历史步骤计算加权平均，实现任意位置间的直接连接。相比传统 RNN 仅依赖上一时刻状态，RWA 在长序列任务中训练速度更快（通常快 5 倍以上），且具备类似的线性扩展能力。

注意：该模型在自然语言处理任务上表现尚未达到竞争水平，更适合其他序列建模场景。

环境准备

• 操作系统：Linux / macOS / Windows（需支持 Python 3）
• Python 版本：Python 3.x
• 深度学习框架：TensorFlow 1.0
• 依赖库：确保已安装 tensorflow==1.0 及相关科学计算库（如 numpy）

建议在国内使用清华或阿里云镜像加速依赖安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.0

安装步骤

克隆官方仓库到本地：

git clone https://github.com/jostmey/rwa
cd rwa

项目代码已适配 TensorFlow 1.0，无需额外编译。确认环境中 TensorFlow 版本正确即可运行各任务脚本。

基本使用

以复制任务（copy problem）为例，进入对应目录并运行评估脚本：

cd copy
python main.py

该脚本将自动初始化 RWA 模型并开始训练，同时对比 LSTM 基线性能。其他任务（如 permuted MNIST、adding problem 等）位于各自子文件夹中，使用方法相同。

如需集成到自己的项目中，可参考社区实现的 TensorFlow RNNCell 版本：

• 官方 gist 实现：RWA as TensorFlow RNNCell
• Keras 复现版（含论文结果）：keisuke-nakata/rwa

开发者可根据需求选择合适实现进行定制开发。