R-Net

• 这是一个基于 TensorFlow 的 R-NET：带有自匹配网络的机器阅读理解 的实现。该项目专门针对 SQuAD 数据集设计。
• 如有任何问题，请联系周文轩 (wzhouad@connect.ust.hk)。

需求

由于使用不同版本的软件可能会导致许多已知问题，请在提交问题或发送邮件之前检查您的软件版本。

通用

• Python >= 3.4
• unzip, wget

Python 包

• tensorflow-gpu >= 1.5.0
• spaCy >= 2.0.0
• tqdm
• ujson

使用方法

要下载并预处理数据，请运行以下命令：

# 下载 SQuAD 和 Glove 数据
sh download.sh
# 预处理数据
python config.py --mode prepro

超参数存储在 config.py 文件中。要调试/训练/测试模型，请运行：

python config.py --mode debug/train/test

要获得官方分数，请运行：

python evaluate-v1.1.py ~/data/squad/dev-v1.1.json log/answer/answer.json

TensorBoard 日志文件的默认目录是 log/event。

已训练好的模型请参阅发布内容。

详细实现

• 原论文使用加性注意力机制，该机制会占用大量内存。本项目采用了 Attention Is All You Need 中提出的缩放乘法注意力机制。
• 本项目还采用了 A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 中提出的变分丢弃法。
• 为了解决堆叠 RNN 中的退化问题，将每一层的输出拼接起来作为最终输出。
• 当验证集上的损失在一定时间内持续增加时，学习率会减半。
• 在预测过程中，本项目采用了 Machine Comprehension Using Match-LSTM and Answer Pointer 中提出的搜索方法。
• 为了解决效率问题，本实现使用了分桶方法（由 xiongyifan 贡献）和 CudnnGRU。分桶方法可以加快训练速度，但会使 F1 分数降低约 0.3%。

性能

分数

	EM	F1
原论文	71.1	79.5
本项目	71.07	79.51

训练时间 (秒/迭代)

	原生	原生 + 分桶	Cudnn	Cudnn + 分桶
E5-2640	6.21	3.56	-	-
TITAN X	2.56	1.31	0.41	0.28

扩展功能

以下设置可能会提高分数，但默认情况下并未启用。您可以在 config.py 中开启这些设置。

• 预训练的 GloVe 字符嵌入。由 yanghanxy 贡献。
• FastText 嵌入。由 xiongyifan 贡献。据 xiongyifan 报告，这可能会使 F1 提升 1%。

R-Net 快速上手指南

R-Net 是基于 TensorFlow 实现的机器阅读理解模型（Self-Matching Networks），专为 SQuAD 数据集设计。本指南将帮助你快速在本地搭建并运行该模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

系统要求

• Python: 版本 >= 3.4
• 系统工具: unzip, wget
• GPU: 推荐配备 NVIDIA GPU 以加速训练（需安装 CUDA）

Python 依赖包

请安装以下核心库：

• tensorflow-gpu >= 1.5.0
• spaCy >= 2.0.0
• tqdm
• ujson

提示：国内用户建议使用清华或阿里镜像源加速安装，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu spaCy tqdm ujson

安装步骤

1. 克隆项目代码

   git clone <项目仓库地址>
   cd R-Net
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   # 若无 requirements.txt，请手动执行：
   # pip install tensorflow-gpu>=1.5.0 spaCy>=2.0.0 tqdm ujson
   

3. 下载数据与预处理 运行脚本自动下载 SQuAD 数据集和 GloVe 词向量，并进行预处理：

   sh download.sh
   python config.py --mode prepro
   

   注意：如果 download.sh 下载速度过慢，可手动从国内镜像站下载 SQuAD 和 GloVe 文件后放入对应目录。

基本使用

配置文件中 (config.py) 已包含超参数设置。你可以直接运行以下命令进行调试、训练或测试：

1. 训练/调试模型

# 将 mode 替换为 debug, train 或 test
python config.py --mode train

2. 评估模型性能

训练完成后，使用官方脚本计算 EM (Exact Match) 和 F1 分数：

python evaluate-v1.1.py ~/data/squad/dev-v1.1.json log/answer/answer.json

3. 查看训练日志

TensorBoard 日志默认保存在 log/event 目录，可通过以下命令启动可视化界面：

tensorboard --logdir=log/event

补充：如需加载预训练模型，请查看项目的 Release 页面下载权重文件。