QANet

这是 Google 的 QANet（前身为快速阅读理解模型 FRC）在 TensorFlow 中的一个实现，源自 ICLR2018。（注：这并非论文作者的官方实现）

我写了一篇关于实现 QANet 的博客文章。更多信息请参见 这里！

训练和预处理流程借鉴自 HKUST-KnowComp 的 R-Net。演示模式已正常运行。训练完成后，只需使用 python config.py --mode demo 即可启动交互式演示服务器。

由于显存限制，我们采用了单头点积注意力机制，而非原论文中的 8 头多头注意力。此外，隐层大小也从 128 减少到了 96，这是因为我们在实验中使用的是 GTX1080 显卡，而原论文则使用了 P100（8GB 显存不足以支持）。如果你拥有 12GB 显存的 GPU，请与我们分享你的训练结果。

目前，最佳模型在 6 万步训练后达到了 EM/F1 = 70.8/80.1（约 6–8 小时）。详细结果如下所示。

数据集

本任务使用的数据集是 斯坦福问答数据集。单词嵌入采用来自 Common Crawl、包含 8400 亿个词元的预训练 [GloVe 嵌入]。

环境要求

• Python>=2.7
• NumPy
• tqdm
• TensorFlow>=1.5
• spacy==2.0.9
• bottle（仅用于演示）

使用方法

下载并预处理数据的命令如下：

# 下载 SQuAD 和 GloVe 数据
sh download.sh
# 预处理数据
python config.py --mode prepro

与 HKUST-KnowComp 的 R-Net 类似，超参数存储在 config.py 文件中。调试/训练/测试/演示的命令如下：

python config.py --mode debug/train/test/demo

使用官方代码评估模型的命令为：

python evaluate-v1.1.py ~/data/squad/dev-v1.1.json train/{model_name}/answer/answer.json

TensorBoard 日志文件的默认路径为 train/{model_name}/event。

在 Docker 容器中运行（可选）

构建 Docker 镜像（需 nvidia-docker）的命令如下：

nvidia-docker build -t tensorflow/qanet .

设置卷挂载路径和端口映射（用于演示模式）：

export QANETPATH={/path/to/cloned/QANet}
export CONTAINERWORKDIR=/home/QANet
export HOSTPORT=8080
export CONTAINERPORT=8080

进入容器：

nvidia-docker run -v $QANETPATH:$CONTAINERWORKDIR -p $HOSTPORT:$CONTAINERPORT -it --rm tensorflow/qanet bash

进入容器后，按照上述步骤开始下载 SQuAD 和 GloVe 数据集。

预训练模型

目前暂无预训练模型权重可供下载。

详细实现

• 模型采用字符级卷积–最大池化–高速公路网络作为输入表示，类似于 Yoon Kim 的这篇论文。
• 编码器由位置编码、深度可分离卷积、自注意力以及带有层归一化的前馈网络组成。
• 尽管原论文使用了 200 维字符特征，但我们发现使用较小的字符维度反而能带来更好的泛化性能。
• 为了正则化，每两个子层和两个模块之间都应用了 0.1 的 Dropout。
• 为了防止随着网络深度增加而出现梯度消失问题，我们引入了随机深度 Dropout 来丢弃残差连接，因为该模型高度依赖残差连接。
• 我们同时使用了查询到上下文的注意力和上下文到查询的注意力，这似乎比原论文报道的效果更好。这可能是因为单头注意力缺乏多样性，导致信息重复，而查询到上下文的注意力能够弥补这一不足。
• 学习率在前 1000 步内以反向指数形式从 0 提升至 0.001，并在第 1000 步后固定为 0.001。
• 推理时，该模型使用所有全局变量的指数移动平均所维护的影子变量。
• 本模型沿用了 R-Net 的训练/测试/预处理流水线，以提高效率。

结果

以下是本仓库及原论文收集的结果对比表。

模型	训练步数	隐层大小	注意力头数	数据规模（是否增强）	EM	F1
我的模型	35,000	96	1	87k（未增强）	69.0	78.6
我的模型	60,000	96	1	87k（未增强）	70.4	79.6
我的模型（由 @jasonbw 报告）	60,000	128	1	87k（未增强）	70.7	79.8
我的模型（由 @chesterkuo 报告）	60,000	128	8	87k（未增强）	70.8	80.1
原论文	35,000	128	8	87k（未增强）	NA	77.0
原论文	150,000	128	8	87k（未增强）	73.6	82.7
原论文	340,000	128	8	240k（增强）	75.1	83.8

待办事项

• 模型的训练与测试
• 向上下文到查询的注意力中添加三线性函数
• 应用 Dropout 和随机深度 Dropout
• 实现查询到上下文的注意力
• 实现实时演示
• 通过释义进行数据增强
• 使用完整超参数进行训练（增强数据、8 头注意力、隐层大小 128）

TensorBoard

运行 TensorBoard 进行可视化：

$ tensorboard --logdir=./

QANet 快速上手指南

QANet 是一个基于 TensorFlow 实现的问答网络模型，源自 ICLR 2018 论文。它利用卷积神经网络（CNN）和自注意力机制，在 SQuAD 数据集上实现了高效的阅读理解能力。本指南将帮助你快速搭建环境并运行模型。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需通过 Docker 或 WSL 运行)
• Python: >= 2.7
• GPU: 推荐 NVIDIA GPU (显存建议 >= 8GB，原文作者使用 GTX 1080 测试)
• Docker (可选): 如需隔离环境或使用 nvidia-docker，请提前安装。

前置依赖

你需要安装以下 Python 库：

pip install numpy tqdm "tensorflow>=1.5" "spacy==2.0.9" bottle

注意: 如果你使用 GPU 版本，请确保已安装对应的 tensorflow-gpu。Spacy 需要下载英文语言模型，运行以下命令：

python -m spacy download en

安装步骤

方法一：本地源码安装

1. 克隆仓库

   git clone https://github.com/minsangkim/QANet.git
   cd QANet
   

2. 下载数据与预处理 项目提供了脚本自动下载 SQuAD 数据集和 GloVe 词向量，并进行预处理。

   # 下载 SQuAD 数据集和 GloVe 词向量
   sh download.sh
   
   # 预处理数据
   python config.py --mode prepro
   

   国内加速提示: 如果 download.sh 下载速度过慢，可手动从国内镜像源下载 SQuAD 和 GloVe 文件，放入指定目录后跳过下载步骤直接运行预处理。

方法二：使用 Docker (推荐)

如果你希望避免环境配置冲突，可以使用 Docker 容器：

1. 构建镜像 (需安装 nvidia-docker)

   nvidia-docker build -t tensorflow/qanet .
   

2. 启动容器

   export QANETPATH=$(pwd)
   export CONTAINERWORKDIR=/home/QANet
   export HOSTPORT=8080
   export CONTAINERPORT=8080
   
   nvidia-docker run -v $QANETPATH:$CONTAINERWORKDIR -p $HOSTPORT:$CONTAINERPORT -it --rm tensorflow/qanet bash
   

3. 在容器内执行数据下载与预处理 进入容器后，依次执行上述“本地源码安装”中的 sh download.sh 和 python config.py --mode prepro 命令。

基本使用

配置参数均存储在 config.py 中。你可以直接通过修改该文件或传递参数来调整超参数。

1. 训练模型

运行以下命令开始训练（默认会在 train/{model_name} 目录下保存检查点和日志）：

python config.py --mode train

• 性能参考: 在单头注意力机制和隐藏层大小为 96 的配置下，约 6-8 小时（60k steps）可达到 EM/F1 ≈ 70.4/79.6。
• 可视化: 训练过程中可使用 TensorBoard 监控损失和指标：

  tensorboard --logdir=./
  

2. 评估模型

训练完成后，使用官方脚本评估模型效果：

python evaluate-v1.1.py ~/data/squad/dev-v1.1.json train/{model_name}/answer/answer.json

(请将 {model_name} 替换为你实际的模型文件夹名称)

3. 交互式演示 (Demo)

训练结束后，可以启动一个交互式的 Web 服务器来测试问答效果：

python config.py --mode demo

启动后，在浏览器访问 http://localhost:8080 即可输入段落和问题进行测试。

4. 调试模式

如果需要快速验证代码逻辑而不进行完整训练，可以使用 debug 模式：

python config.py --mode debug