[已更新] 《Attention Is All You Need》的 TensorFlow 实现

2017 年我首次打开这个仓库时，还没有官方代码。我当时根据自己的理解实现了这篇论文，但不出所料，其中存在不少 bug。这些错误大多是由在此提出问题的用户帮助我发现并修复的，对此我深表感谢。尽管已经有 官方实现 以及其他一些非官方的 GitHub 仓库，我还是决定更新自己的版本。本次更新主要集中在以下几个方面：

• 代码编写更易读、易懂
• 模块化设计（但不过度）
• 修复已知的 bug（掩码、位置编码等）
• 升级到 TF1.12 版本（使用 tf.data 等）
• 补充一些缺失的组件（BPE、共享权重矩阵等）
• 在代码中添加有用的注释。

我仍然采用 IWSLT 2016 德语-英语数据集。如果想在 WMT 等大规模数据上进行测试，建议使用官方实现。毕竟，快速验证模型是否有效是很重要的。最初为 TF1.2 编写的代码已被移至 tf1.2_legacy 文件夹，以供存档参考。

需求

• python==3.x（如果你还在使用 Python 2，现在就迁移到 Python 3 吧）
• tensorflow==1.12.0
• numpy>=1.15.4
• sentencepiece==0.1.8
• tqdm>=4.28.1

训练

• 步骤 1. 运行以下命令下载 IWSLT 2016 德语–英语平行语料库。

bash download.sh

文件会自动解压到 iwslt2016/de-en 文件夹中。

• 步骤 2. 运行以下命令生成预处理后的训练/验证/测试数据。

python prepro.py

如果你想更改词汇表大小（默认为 32000），可以这样做：

python prepro.py --vocab_size 8000

这将创建两个文件夹 iwslt2016/prepro 和 iwslt2016/segmented。

• 步骤 3. 运行以下命令：

python train.py

请查看 hparams.py 文件，了解可配置的参数。例如：

python train.py --logdir myLog --batch_size 256 --dropout_rate 0.5

• 步骤 3. 或者直接下载预训练好的模型：

wget https://dl.dropbox.com/s/4lom1czy5xfzr4q/log.zip; unzip log.zip; rm log.zip

训练损失曲线

学习率

开发集上的 BLEU 分数

推理（测试）

• 运行以下命令：

python test.py --ckpt log/1/iwslt2016_E19L2.64-29146 （或你的检查点文件，或检查点文件目录）

结果

• 机器翻译通常使用 BLEU 分数来评估。
• 所有评估结果都保存在 eval/1 和 test/1 文件夹中。

tst2013 (dev)	tst2014 (test)
28.06	23.88

备注

• 束搜索解码功能将很快加入。
• 如果可能的话，待 TF2.0 发布后，我会进一步更新代码。

Transformer (TensorFlow 实现) 快速上手指南

本指南基于《Attention Is All You Need》论文的 TensorFlow 实现，专注于代码可读性、模块化及已知 Bug 修复。默认使用 IWSLT 2016 德英翻译数据集进行演示。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需配置相应 TF 环境)
• Python: 3.x (不再支持 Python 2)
• 核心依赖:
  • tensorflow==1.12.0
  • numpy>=1.15.4
  • sentencepiece==0.1.8
  • tqdm>=4.28.1

提示: 国内用户建议使用清华或阿里镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.12.0 numpy sentencepiece tqdm

安装与数据准备

本项目无需复杂的 setup.py 安装，克隆仓库后直接运行脚本即可。

1. 获取代码

git clone <repository_url>
cd transformer

2. 下载数据集

执行以下命令下载 IWSLT 2016 德英平行语料库，脚本会自动将其解压至 iwslt2016/de-en 目录。

bash download.sh

注意: 如果官方源下载缓慢，可手动从 WIT3 下载数据包并放入对应目录。

3. 数据预处理

运行预处理脚本生成训练、验证和测试数据。默认词汇表大小为 32000。

python prepro.py

如需自定义词汇表大小（例如 8000）：

python prepro.py --vocab_size 8000

执行成功后将生成 iwslt2016/prepro 和 iwslt2016/segmented 文件夹。

基本使用

开始训练

使用默认超参数启动训练：

python train.py

自定义参数示例（指定日志目录、批次大小和 Dropout 率）：

python train.py --logdir myLog --batch_size 256 --dropout_rate 0.5

• 查看 hparams.py 了解所有可调整的参数。
• 快速验证: 若不想从头训练，可下载预训练模型：

  wget https://dl.dropbox.com/s/4lom1czy5xfzr4q/log.zip; unzip log.zip; rm log.zip
  

模型推理 (测试)

训练完成后，使用检查点文件进行推理测试：

python test.py --ckpt log/1/iwslt2016_E19L2.64-29146

• --ckpt 后可跟随具体的检查点文件路径或目录。
• 评估结果（BLEU 分数）将保存在 eval/1 和 test/1 目录中。参考得分：tst2013 (dev) 约为 28.06，tst2014 (test) 约为 23.88。