更新 2019-05-26：Google 已将我们的 NTM 实现集成到官方 TensorFlow 发布版本中。更多详情请参阅：https://www.scss.tcd.ie/joeran.beel/blog/2019/05/25/google-integrates-our-neural-turing-machine-implementation-in-tensorflow/

关于我们实现的描述及实验结果，请参阅我们论文的预印本，该论文将在 ICANN 2018 大会上以会议论文形式发表：https://arxiv.org/abs/1807.08518

我们的主要贡献并不在于单纯地用代码实现神经图灵机，而在于使训练过程更加稳定可靠。与其他实现相比，我们并未观察到学习速度缓慢或梯度变为 NaN 的现象。

您可以按以下方式引用该论文：

@article{collierbeel2018ntms, title={Implementing Neural Turing Machines,
author={Collier, Mark and Beel, Joeran},
journal={International Conference on Artificial Neural Networks, ICANN.}, year={2018}}

这项工作是在都柏林三一学院 Adapt 中心 的 Ussher 智能系统助理教授 Joeran Beel 的指导下完成的，作为我在都柏林三一学院的本科毕业论文的一部分。

神经图灵机

本仓库包含一个稳定且成功的 TensorFlow 版神经图灵机实现，已在 原始论文 中提出的复制、重复复制和联想回忆任务上进行了测试。

使用方法

from ntm import NTMCell

cell = NTMCell(num_controller_layers, num_controller_units, num_memory_locations, memory_size,
    num_read_heads, num_write_heads, shift_range=3, output_dim=num_bits_per_output_vector,
    clip_value=clip_controller_output_to_value)

outputs, _ = tf.nn.dynamic_rnn(
    cell=cell,
    inputs=inputs,
    time_major=False)

该实现基于另一个开源的 NTM 实现 https://github.com/snowkylin/ntm。我们在原代码基础上进行了虽小但意义重大的改动，这些改动显著提升了我们实现的训练稳定性、收敛速度，并使其更易于与 TensorFlow 集成。我们的贡献包括：

• 我们比较了三种不同的内存初始化方案，发现将神经图灵机的内存内容初始化为较小的常数值，效果远优于随机初始化或通过反向传播进行内存初始化。
• 我们对 NTM 控制器的输出进行范围限制，这有助于解决优化过程中遇到的困难。
• NTMCell 实现了 TensorFlow RNNCell 接口，因此可以直接与 tf.nn.dynamic_rnn 等函数配合使用。
• 我们从未遇到过损失值变为 NaN 的情况，而其他一些实现则有此问题。
• 我们实现了 NTM 论文中提到的五项任务中的三项。我们进行了大量实验，报告了我们实现的收敛速度和泛化性能，并将其与 LSTM、DNC 以及三种内存初始化方案进行了对比。

示例输出

以下是我们在复制任务和联想回忆任务上的部分示例输出。我们为这两项任务复现了 原始论文 中的超参数设置：

• 内存大小：128 × 20
• 控制器：LSTM — 100 个单元
• 优化器：RMSProp — 学习率 = 10^-4

复制任务的网络在长度服从均匀分布 Uniform(1,20) 的序列上进行训练，每个序列由 8 维的随机位向量组成。联想回忆任务的网络则在长度服从均匀分布 Uniform(2,6) 的序列上训练，每个序列包含 3 个 6 维的随机位向量。

NTM 在序列长度为 20 的复制任务上的表现（输出完全正确）：

NTM 在序列长度为 40 的复制任务上的表现（网络仅在长度不超过 20 的序列上训练过，因此在第 36 个输入之后性能开始下降）：

NTM 在包含 6 个项目的联想回忆任务上的表现（输出完全正确）：

NTM 在包含 12 个项目的联想回忆任务上的表现（尽管网络仅在最多 6 个项目组成的序列上训练过，但它仍能完美地泛化到 12 个项目）：

为了理解 NTM 如何利用其外部内存，我们训练了一个拥有 32 个内存位置的网络来执行复制任务，并绘制了读写头地址随时间变化的轨迹图。

从下面的图表中可以看出，网络首先将序列写入内存，然后按照写入的顺序将其读出。这一过程同时利用了 NTM 基于内容和基于位置的寻址能力。先写后读的模式正是我们预期的合理解决方案所应具备的特征。

拥有 32 个内存位置的 NTM 在复制任务上的写头位置：

拥有 32 个内存位置的 NTM 在复制任务上的读头位置：

关于内存初始化比较和学习曲线的更多结果即将发布……

NeuralTuringMachine 快速上手指南

NeuralTuringMachine (NTM) 是一个基于 TensorFlow 的稳定神经图灵机实现。该项目的核心贡献在于解决了传统 NTM 实现中训练不稳定、梯度消失或变为 NaN 的问题，并已成功集成至官方 TensorFlow 版本中。它特别适用于序列复制（Copy）、重复复制（Repeat Copy）和关联回忆（Associative Recall）等任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • TensorFlow (建议版本 1.x，因代码基于 tf.contrib 接口；若使用 TF 2.x 需兼容模式或迁移代码)
  • NumPy
• 硬件建议：虽然可在 CPU 上运行，但推荐使用 NVIDIA GPU 以加速训练过程。

注意：由于该项目源自 TensorFlow 1.x 时代（使用 tf.contrib.rnn.RNNCell），如果您使用的是 TensorFlow 2.x，可能需要安装 tensorflow-compat-v1 或使用 tf.compat.v1 模块来运行此代码。

安装步骤

目前该库主要通过源码方式使用。请按照以下步骤进行安装：

1. 克隆仓库 使用 git 将项目代码拉取到本地：

   git clone https://github.com/MarkCollier/NeuralTuringMachine.git
   cd NeuralTuringMachine
   

2. 安装依赖 确保已安装 TensorFlow。如果尚未安装，可以使用 pip 进行安装（国内用户推荐使用清华镜像源加速）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.15.0
   

   注：具体 TensorFlow 版本需根据您的实际环境调整，上述命令针对兼容性较好的 TF 1.15 GPU 版本。

3. 验证安装 确保 ntm.py 文件位于当前目录或 Python 路径中，即可直接导入使用。

基本使用

该实现遵循 TensorFlow 的 RNNCell 接口，因此可以无缝嵌入到 tf.nn.dynamic_rnn 中。以下是最小化的使用示例：

from ntm import NTMCell
import tensorflow as tf

# 定义 NTM 细胞参数
# num_controller_layers: 控制器层数
# num_controller_units: 控制器单元数
# num_memory_locations: 记忆位置数量
# memory_size: 每个记忆位置的向量大小
# num_read_heads: 读头数量
# num_write_heads: 写头数量
cell = NTMCell(
    num_controller_layers=1, 
    num_controller_units=100, 
    num_memory_locations=128, 
    memory_size=20,
    num_read_heads=1, 
    num_write_heads=1, 
    shift_range=3, 
    output_dim=8,
    clip_value=10.0  # 裁剪控制器输出以增强稳定性
)

# 假设 inputs 形状为 [batch_size, time_steps, input_dim]
# 创建动态 RNN
outputs, final_state = tf.nn.dynamic_rnn(
    cell=cell,
    inputs=inputs,
    time_major=False
)

# 后续可连接损失函数并进行训练

关键配置说明：

• 稳定性优化：代码默认会对控制器的输出进行裁剪（clip_value），这是防止梯度爆炸和训练发散的关键。
• 记忆初始化：该实现建议使用小的常数值初始化记忆内容，而非随机初始化，这能显著加快收敛速度。
• 接口兼容：NTMCell 完全兼容标准的 TensorFlow RNN 调用方式，无需修改现有的 RNN 训练循环逻辑。