TensorFlow 中的端到端记忆网络

用于语言建模的 端到端记忆网络 的 TensorFlow 实现（参见第 5 节）。Facebook 提供的原始 Torch 代码可在 这里 找到。

前提条件

此代码需要 TensorFlow。data 目录中包含一组 Penn Tree Bank (PTB) 语料库示例，这是衡量此类模型质量的常用基准。不过，您也可以使用自己的文本数据集，其格式应与 此处 的示例一致。

当您使用 docker 镜像 tensorflw/tensorflow:latest-gpu 时，需要安装 Python 包 future。

$ pip install future

如果您想使用 --show True 选项，则需要安装 Python 包 progress。

$ pip install progress

用法

要训练一个具有 6 跳和内存大小为 100 的模型，请运行以下命令：

$ python main.py --nhop 6 --mem_size 100

要查看所有训练选项，请运行：

$ python main.py --help

这将打印出：

usage: main.py [-h] [--edim EDIM] [--lindim LINDIM] [--nhop NHOP]
              [--mem_size MEM_SIZE] [--batch_size BATCH_SIZE]
              [--nepoch NEPOCH] [--init_lr INIT_LR] [--init_hid INIT_HID]
              [--init_std INIT_STD] [--max_grad_norm MAX_GRAD_NORM]
              [--data_dir DATA_DIR] [--data_name DATA_NAME] [--show SHOW]
              [--noshow]

optional arguments:
  -h, --help            show this help message and exit
  --edim EDIM           internal state dimension [150]
  --lindim LINDIM       linear part of the state [75]
  --nhop NHOP           number of hops [6]
  --mem_size MEM_SIZE   memory size [100]
  --batch_size BATCH_SIZE
                        batch size to use during training [128]
  --nepoch NEPOCH       number of epoch to use during training [100]
  --init_lr INIT_LR     initial learning rate [0.01]
  --init_hid INIT_HID   initial internal state value [0.1]
  --init_std INIT_STD   weight initialization std [0.05]
  --max_grad_norm MAX_GRAD_NORM
                        clip gradients to this norm [50]
  --checkpoint_dir CHECKPOINT_DIR
                        checkpoint directory [checkpoints]
  --data_dir DATA_DIR   data directory [data]
  --data_name DATA_NAME
                        data set name [ptb]
  --is_test IS_TEST     True for testing, False for Training [False]
  --nois_test
  --show SHOW           print progress [False]
  --noshow

（可选）如果您想看到进度条，可以使用 pip 安装 progress：

$ pip install progress
$ python main.py --nhop 6 --mem_size 100 --show True

训练完成后，您可以进行测试和验证：

$ python main.py --is_test True --show True

训练输出如下所示：

$ python main.py --nhop 6 --mem_size 100 --show True
Read 929589 words from data/ptb.train.txt
Read 73760 words from data/ptb.valid.txt
Read 82430 words from data/ptb.test.txt
{'batch_size': 128,
'data_dir': 'data',
'data_name': 'ptb',
'edim': 150,
'init_hid': 0.1,
'init_lr': 0.01,
'init_std': 0.05,
'lindim': 75,
'max_grad_norm': 50,
'mem_size': 100,
'nepoch': 100,
'nhop': 6,
'nwords': 10000,
'show': True}
I tensorflow/core/common_runtime/local_device.cc:25] Local device intra op parallelism threads: 12
I tensorflow/core/common_runtime/direct_session.cc:45] Direct session inter op parallelism threads: 12
Training |################################| 100.0% | ETA: 0s
Testing |################################| 100.0% | ETA: 0s
{'perplexity': 507.3536108810464, 'epoch': 0, 'valid_perplexity': 285.19489755719286, 'learning_rate': 0.01}
Training |################################| 100.0% | ETA: 0s
Testing |################################| 100.0% | ETA: 0s
{'perplexity': 218.49577035468886, 'epoch': 1, 'valid_perplexity': 231.73457031084268, 'learning_rate': 0.01}
Training |################################| 100.0% | ETA: 0s
Testing |################################| 100.0% | ETA: 0s
{'perplexity': 163.5527845871247, 'epoch': 2, 'valid_perplexity': 175.38771414841014, 'learning_rate': 0.01}
Training |################################| 100.0% | ETA: 0s
Testing |################################| 100.0% | ETA: 0s
{'perplexity': 136.1443535538306, 'epoch': 3, 'valid_perplexity': 161.62522958776597, 'learning_rate': 0.01}
Training |##############                  | 44.0% | ETA: 378s

性能

Penn Treebank 语料库测试集上的困惑度。

隐藏层大小	跳数	内存大小	MemN2N (Sukhbaatar 2015)	本仓库
150	3	100	122	129
150	6	150	114	正在进行

作者

Taehoon Kim / @carpedm20

MemN2N-tensorflow 快速上手指南

MemN2N-tensorflow 是基于 TensorFlow 实现的端到端记忆网络（End-To-End Memory Networks），主要用于语言建模任务。本指南将帮助你快速配置环境并运行模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置好 TensorFlow 环境)
• 核心依赖：TensorFlow (建议使用 GPU 版本以获得更佳性能)
• Python 包：
  • future：必须安装，特别是使用 Docker 镜像时。
  • progress：可选，用于在训练时显示进度条。

国内加速建议： 推荐使用清华或阿里镜像源安装 Python 依赖，以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple future progress

安装步骤

1. 克隆项目代码 首先从 GitHub 获取源代码：

   git clone https://github.com/carpedm20/MemN2N-tensorflow.git
   cd MemN2N-tensorflow
   

2. 安装依赖包 执行以下命令安装必要的 Python 库：

   pip install future
   pip install progress
   

   (注：如果不需要训练进度条，可跳过 progress 的安装)

3. 数据准备 项目 data 目录下已内置了标准的 Penn Tree Bank (PTB) 数据集样本，无需额外下载即可直接运行测试。如需使用自定义数据集，请参考 data/ 目录下的格式进行整理。

基本使用

1. 训练模型

以下命令将启动一个包含 6 次跳跃（hops）且记忆大小为 100 的模型进行训练，并显示实时进度：

python main.py --nhop 6 --mem_size 100 --show True

输出示例： 训练过程中会显示读取的单词数量、超参数配置以及每个 epoch 的困惑度（Perplexity）变化：

Read 929589 words from data/ptb.train.txt
...
Training |################################| 100.0% | ETA: 0s
Testing |################################| 100.0% | ETA: 0s
{'perplexity': 119.15373237680929, 'epoch': 4, 'valid_perplexity': 149.00768378137946, 'learning_rate': 0.01}

2. 测试与验证

训练完成后，使用以下命令对模型进行测试和验证：

python main.py --is_test True --show True

3. 查看完整参数

如需调整内部状态维度、学习率、批次大小等高级参数，可运行：

python main.py --help

常用参数说明：

• --edim: 内部状态维度 (默认 150)
• --batch_size: 训练批次大小 (默认 128)
• --nepoch: 训练轮数 (默认 100)
• --init_lr: 初始学习率 (默认 0.01)
• --data_name: 数据集名称 (默认 ptb)