NEMATUS

基于注意力机制的编码器-解码器模型，用于神经机器翻译，使用 TensorFlow 构建。

显著特性包括：

• 支持 RNN 和 Transformer 架构

• 支持高级 RNN 架构：

  • 任意输入特征（因子化神经机器翻译）http://www.statmt.org/wmt16/pdf/W16-2209.pdf
  • 深度模型（Miceli Barone 等，2017 年）https://arxiv.org/abs/1707.07631
  • 所有层上的 Dropout（Gal，2015 年）http://arxiv.org/abs/1512.05287
  • 嵌入共享（Press 和 Wolf，2016 年）https://arxiv.org/abs/1608.05859
  • 层归一化（Ba 等，2016 年）https://arxiv.org/abs/1607.06450
  • Softmax 混合（Yang 等，2017 年）https://arxiv.org/abs/1711.03953
  • 词汇模型（Nguyen 和 Chiang，2018 年）https://www.aclweb.org/anthology/N18-1031

• 支持高级 Transformer 架构：

  • 任意输入特征（因子化神经机器翻译）http://www.statmt.org/wmt16/pdf/W16-2209.pdf
  • DropHead：整个注意力头的 Dropout（Zhou 等，2020 年）https://arxiv.org/abs/2004.13342

• 训练特性：

  • 多 GPU 支持 文档
  • 标签平滑
  • 带用户自定义停止条件的早停
  • 恢复训练（可选地带有向原始模型的 MAP-L2 正则化）
  • 最小风险训练（MRT）

• 评分和解码特性：

  • 批量解码
  • n-best 输出
  • 用于评分（给定平行语料库）和重新评分（n-best 输出）的脚本
  • 服务器模式

• 其他易用性特性：

  • 用于训练、评分和解码的命令行界面
  • 模型超参数、词汇表文件和训练进度的 JSON 格式存储
  • 预训练模型适用于 13 种翻译方向（许多在相应年份的 WMT 共享任务中表现优异）：
    • http://data.statmt.org/rsennrich/wmt16_systems/
    • http://data.statmt.org/wmt17_systems/
  • 向后兼容：可以继续使用公开发布的模型与当前代码库一起使用（提供了从 Theano 转换到 TensorFlow 风格模型的脚本）

支持

对于一般的支持请求，有一个 Google Groups 邮件列表，地址是 https://groups.google.com/d/forum/nematus-support 。您也可以发送电子邮件至 nematus-support@googlegroups.com .

安装

Nematus 需要以下软件包：

• Python 3（已在版本 3.5.2 上测试过）
• TensorFlow 1.15 / 2.X（已在版本 2.0 上测试过）

要安装 TensorFlow，我们建议按照以下步骤操作： ( https://www.tensorflow.org/install/ )

以下软件包是可选的，但强烈推荐：

• CUDA >= 7（只有 GPU 训练才足够快）
• cuDNN >= 4（显著加快训练速度）

旧版 Theano

Nematus 最初是 Kyunghyun Cho 等人 dl4mt-tutorial 的一个分支（ https://github.com/nyu-dl/dl4mt-tutorial ），并使用 Theano 实现。 有关这个基于 Theano 的 Nematus 版本，请参阅 https://github.com/EdinburghNLP/nematus/tree/theano 。

要将使用 Theano 训练的模型与当前的 TensorFlow 代码库一起使用，可以使用脚本 nematus/theano_tf_convert.py。

Docker 使用

您也可以通过运行以下命令来创建 Docker 镜像，其中将 suffix 更改为 cpu 或 gpu：

docker build -t nematus-docker -f Dockerfile.suffix .

要运行一个 CPU Docker 实例，并将当前工作目录与 Docker 容器共享，可以执行：

docker run -v `pwd`:/playground -it nematus-docker

对于 GPU，您需要安装 nvidia-docker，然后运行：

nvidia-docker run -v `pwd`:/playground -it nematus-docker

训练速度

训练速度在很大程度上取决于是否拥有合适的硬件（理想情况下是较新的 NVIDIA GPU），以及是否安装了相应的软件包。

为了测试您的设置，我们提供了一些速度基准测试，使用 test/test_train.sh，在 Intel Xeon CPU E5-2620 v4 上，配备 Nvidia GeForce GTX Titan X（Pascal）和 CUDA 9.0：

GPU，CuDNN 5.1，TensorFlow 1.0.1：

CUDA_VISIBLE_DEVICES=0 ./test_train.sh

225.25 句子/秒

使用说明

以下所有脚本都可以使用 --help 标志来获取使用信息。

test 目录中提供了带有玩具示例的命令；对于训练一个全规模的 RNN 系统，可以参考 http://data.statmt.org/wmt17_systems/training/ 中的训练脚本。

这些脚本的更新版本，使用 Transformer 模型，可以在 https://github.com/EdinburghNLP/wmt17-transformer-scripts 上找到。

nematus/train.py：用于训练新模型

数据集；模型加载和保存

参数	描述
--source_dataset PATH	平行训练语料库（源端）
--target_dataset PATH	平行训练语料库（目标端）
--dictionaries PATH [PATH ...]	网络词汇表（每个源因素一个，加上目标词汇表）
--save_freq INT	保存频率（默认：30000）
--model PATH	模型文件名（默认：model）
--reload PATH	从该路径加载现有模型。设置为“latest_checkpoint”以重新加载 --model 所在目录中的最新检查点
--no_reload_training_progress	不重新加载训练进度（仅在启用 --reload 时使用）
--summary_dir PATH	用于保存摘要的目录（默认：与 --model 文件相同的目录）
--summary_freq INT	每 INT 次更新保存摘要，若为 0 则不保存摘要（默认：0）

网络参数（所有模型类型）

参数	描述
--model_type {rnn,transformer}	模型类型（默认：rnn）
--embedding_size INT	嵌入层大小（默认：512）
--state_size INT	隐藏状态大小（默认：1000）
--source_vocab_sizes INT [INT ...]	源端词汇表大小（每个输入因素一个）（默认：无）
--target_vocab_size INT	目标端词汇表大小（默认：-1）
--factors INT	输入因素的数量（默认：1）——目前仅适用于“rnn”模型
--dim_per_factor INT [INT ...]	单词向量维度列表（每个因素一个）：“--dim_per_factor 250 200 50”表示总维度为 500（默认：无）
--tie_encoder_decoder_embeddings	将编码器和解码器的输入嵌入绑定在一起（仅第一个因素）。源端和目标端的词汇表大小必须相同
--tie_decoder_embeddings	将解码器的输入嵌入与 softmax 输出嵌入绑定在一起
--output_hidden_activation {tanh,relu,prelu,linear}	输出网络隐藏层的激活函数（默认：tanh）——目前仅适用于“rnn”模型
--softmax_mixture_size INT	要使用的 softmax 组件数量（默认：1）——目前仅适用于“rnn”模型

网络参数（RNN 特定）

参数	描述
--rnn_enc_depth INT	编码器层数（默认：1）
--rnn_enc_transition_depth INT	在编码器中应用的 GRU 转移操作次数。最小值为 1。（仅适用于 GRU）（默认：1）
--rnn_dec_depth INT	解码器层数（默认：1）
--rnn_dec_base_transition_depth INT	在解码器第一层中应用的 GRU 转移操作次数。最小值为 2。（仅适用于 gru_cond）（默认：2）
--rnn_dec_high_transition_depth INT	在解码器高层中应用的 GRU 转移操作次数。最小值为 1。（仅适用于 GRU）（默认：1）
--rnn_dec_deep_context	将上下文向量（来自第一层）传递到深层解码器层
--rnn_dropout_embedding FLOAT	输入嵌入的 dropout 概率（0：不使用 dropout）（默认：0.0）
--rnn_dropout_hidden FLOAT	隐藏层的 dropout 概率（0：不使用 dropout）（默认：0.0）
--rnn_dropout_source FLOAT	源端词的 dropout 概率（0：不使用 dropout）（默认：0.0）
--rnn_dropout_target FLOAT	目标端词的 dropout 概率（0：不使用 dropout）（默认：0.0）
--rnn_layer_normalisation	设置在编码器和解码器中使用层归一化
--rnn_lexical_model	启用前馈词汇模型（Nguyen 和 Chiang，2018）

网络参数（Transformer 特定）

参数	描述
--transformer_enc_depth INT	编码器层数（默认：6）
--transformer_dec_depth INT	解码器层数（默认：6）
--transformer_ffn_hidden_size INT	前馈子层的内部维度（默认：2048）
--transformer_num_heads INT	多头注意力机制中使用的注意力头数（默认：8）
--transformer_dropout_embeddings FLOAT	应用于词嵌入和位置编码之和的 dropout 概率（默认：0.1）
--transformer_dropout_residual FLOAT	应用于残差连接的 dropout 概率（默认：0.1）
--transformer_dropout_relu FLOAT	应用于前馈子层内部激活的 dropout 概率（默认：0.1）
--transformer_dropout_attn FLOAT	应用于注意力权重的 dropout 概率（默认：0.1）
--transformer_drophead FLOAT	整个注意力头的 dropout 概率（默认：0.0）

训练参数

参数	描述
--loss_function {cross-entropy,per-token-cross-entropy, MRT}	损失函数。MRT：最小风险训练 https://www.aclweb.org/anthology/P/P16/P16-1159.pdf)（默认：交叉熵）
--decay_c FLOAT	L2 正则化惩罚项（默认：0.0）
--map_decay_c FLOAT	针对原始权重的 MAP-L2 正则化惩罚项（默认：0.0）
--prior_model PATH	用于 MAP-L2 正则化的先验模型。除非使用“--reload”，否则该模型也将用于初始化。
--clip_c FLOAT	梯度裁剪阈值（默认：1.0）
--label_smoothing FLOAT	标签平滑（默认：0.0）
--exponential_smoothing FLOAT	指数平滑因子；设为 0 可禁用（默认：0.0）
--optimizer {adam}	优化器（默认：adam）
--adam_beta1 FLOAT	第一矩估计的指数衰减率（默认：0.9）
--adam_beta2 FLOAT	第二矩估计的指数衰减率（默认：0.999）
--adam_epsilon FLOAT	用于数值稳定性的常数（默认：1e-08）
--learning_schedule {constant,transformer,warmup-plateau-decay}	学习率调度策略（默认：常数）
--learning_rate FLOAT	学习率（默认：0.0001）
--warmup_steps INT	学习率线性增加的初始更新步数，在学习率调度过程中使用（默认：8000）
--plateau_steps INT	预热期后开始降低学习率之前的更新步数。仅适用于“warmup-plateau-decay”学习率调度策略。（默认：0）
--maxlen INT	训练和验证的最大序列长度（默认：100）
--batch_size INT	小批量大小（默认：80）
--token_batch_size INT	以源端或目标端词数表示的小批量大小。句子级别的小批量大小将动态调整。如果启用此选项，batch_size 仅影响按长度排序。（默认：0）
--max_sentences_per_device INT	单个设备上运行的小批量子集的最大句子数量（默认：0）
--max_tokens_per_device INT	单个设备上运行的小批量子集的最大词数（以源端或目标端中较高者为准）（默认：0）
--gradient_aggregation_steps INT	在聚合和应用梯度之前累积梯度的次数。小批量会在各步骤之间拆分，因此增加步骤数可以使用更大的小批量。（默认：1）
--maxibatch_size INT	最大批次的大小（按长度排序的小批量数量）（默认：20）
--no_sort_by_length	不按长度对最大批次中的句子进行排序
--no_shuffle	禁用每轮训练数据的随机打乱
--keep_train_set_in_memory	在训练过程中将训练数据行保留在内存中
--max_epochs INT	最大训练轮数（默认：5000）
--finish_after INT	最大更新次数（小批量）（默认：10000000）
--print_per_token_pro PATH	用于存储训练数据集中每个目标词在给定源句条件下的概率路径（无需训练）。若设置为 False，则该功能不会触发。（默认：False）。请删除每个列表末尾的 1.0，它们代表填充的概率。

最小风险训练参数（MRT）

参数	描述
--mrt_reference	在 MRT 候选句子中加入参考译文（默认：False）
--mrt_alpha FLOAT	MRT 的 alpha 参数，用于控制采样子空间分布的尖锐程度（默认：0.005）
--samplesN INT	每个源句采样的候选句子数量（默认：100）
--mrt_loss	用于计算候选译文与参考译文之间损失的评估指标（默认：SENTENCEBLEU n=4）
--mrt_ml_mix FLOAT	在 MRT 训练中混合 MLE 目标函数，通过此缩放因子进行调整（默认：0）
--sample_way {beam_search, randomly_sample}	生成候选句子的采样策略（默认：束搜索）
--max_len_a INT	生成候选句子的最大长度公式为 ax + b，其中 x 为源句长度（默认：1.5）
--max_len_b INT	生成候选句子的最大长度公式为 ax + b，其中 x 为源句长度（默认：5）
--max_sentences_of_sampling INT	一次最多可生成候选句子的源句数量（受设备内存容量限制）（默认：0）

验证参数

参数	描述
--valid_source_dataset PATH	源端验证语料（默认：无）
--valid_target_dataset PATH	目标端验证语料（默认：无）
--valid_batch_size INT	验证时的小批量大小（默认：80）
--valid_token_batch_size INT	以源端或目标端词数表示的验证小批量大小。句子级别的小批量大小将动态调整。若启用此选项，valid_batch_size 仅影响按长度排序。（默认：0）
--valid_freq INT	验证频率（默认：10000）
--valid_script PATH	外部验证脚本路径（默认：无）。该脚本会接收一个参数，指定包含源端验证语料翻译结果的文件路径，并需将单一评分写入标准输出。
--valid_bleu_source_dataset PATH	用于外部 BLEU 评分的源端验证语料（默认：无）。若设为无，则使用计算验证损失的语料（valid_source_dataset）。
--patience INT	早停耐心值（默认：10）

显示参数

参数	描述
--disp_freq INT	每更新 INT 次后显示一次损失（默认：1000）
--sample_freq INT	每更新 INT 次后显示一些样本（默认：10000）
--beam_freq INT	每更新 INT 次后显示一些束搜索样本（默认：10000）
--beam_size INT	束宽度（默认：12）

翻译参数

参数	描述
--normalization_alpha [ALPHA]	根据句子长度归一化得分（带参数时，对长度进行 ALPHA 次方运算）
--n_best	输出完整束搜索结果
--translation_maxlen INT	翻译输出句子的最大长度（默认：200）
--translation_strategy {beam_search,sampling}	翻译策略，可选束搜索或采样（默认：束搜索）

nematus/translate.py：使用现有模型翻译源文本

参数	描述
-v, --verbose	详细模式
-m PATH [PATH ...], --models PATH [PATH ...]	要使用的模型；可提供多个具有相同词汇表的模型进行集成解码
-b INT, --minibatch_size INT	小批量大小（默认：80）
-i PATH, --input PATH	输入文件（默认：标准输入）
-o PATH, --output PATH	输出文件（默认：标准输出）
-k INT, --beam_size INT	束宽度（默认：5）
-n [ALPHA], --normalization_alpha [ALPHA]	根据句子长度归一化得分（带参数时，对长度进行 ALPHA 次方运算）
--n_best	输出 n-best 列表（大小为 k）
--maxibatch_size INT	最大批次大小（按长度排序的小批量数量）（默认：20）

nematus/score.py：使用现有模型对平行语料进行评分

参数	描述
-v, --verbose	详细模式
-m PATH [PATH ...], --models PATH [PATH ...]	要使用的模型；可提供多个具有相同词汇表的模型进行集成解码
-b INT, --minibatch_size INT	小批量大小（默认：80）
-n [ALPHA], --normalization_alpha [ALPHA]	根据句子长度归一化得分（带参数时，对长度进行 ALPHA 次方运算）
-o PATH, --output PATH	输出文件（默认：标准输出）
-s PATH, --source PATH	源端文本文件
-t PATH, --target PATH	目标端文本文件

nematus/rescore.py：使用现有模型对 n-best 列表重新评分。

假设 n-best 列表采用与 Moses 相同的格式：

句子ID（从0开始） ||| 翻译 ||| 得分

新得分将追加到末尾。rescore.py 的参数与 score.py 相同，但额外增加了一个参数：

参数	描述
-i PATH, --input PATH	输入 n-best 列表文件（默认：标准输入）

nematus/theano_tf_convert.py：将现有 Theano 模型转换为 TensorFlow 模型

如果您拥有一个支持当前功能的网络架构的 Theano 模型（model.npz），则可以使用 nematus/theano_tf_convert.py 将其转换为 TensorFlow 模型。

参数	描述
--from_theano	从 Theano 格式转换为 TensorFlow 格式
--from_tf	从 TensorFlow 格式转换为 Theano 格式
--in PATH	输入模型路径
--out PATH	输出模型路径

出版物

如果您使用 Nematus，请引用以下论文：

Rico Sennrich、Orhan Firat、Kyunghyun Cho、Alexandra Birch、Barry Haddow、Julian Hitschler、Marcin Junczys-Dowmunt、Samuel Läubli、Antonio Valerio Miceli Barone、Jozef Mokry 和 Maria Nadejde（2017）：Nematus：神经机器翻译工具包。载于第15届欧洲计算语言学协会大会软件演示文集，西班牙瓦伦西亚，第65–68页。

@InProceedings{sennrich-EtAl:2017:EACLDemo,
  author    = {Sennrich, Rico  and  Firat, Orhan  and  Cho, Kyunghyun  and  Birch, Alexandra  and  Haddow, Barry  and  Hitschler, Julian  and  Junczys-Dowmunt, Marcin  and  L\"{a}ubli, Samuel  and  Miceli Barone, Antonio Valerio  and  Mokry, Jozef  and  Nadejde, Maria},
  title     = {Nematus: a Toolkit for Neural Machine Translation},
  booktitle = {Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics},
  month     = {April},
  year      = {2017},
  address   = {Valencia, Spain},
  publisher = {Association for Computational Linguistics},
  pages     = {65--68},
  url       = {http://aclweb.org/anthology/E17-3017}
}

该代码基于以下模型：

Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio（2015）：通过联合学习对齐与翻译实现神经机器翻译，国际表征学习会议（ICLR）论文。

Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser、Illia Polosukhin（2017）：注意力即一切，神经信息处理系统进展（NIPS）论文。

有关与 RNN 模型实现差异的描述，请参阅 Nematus 论文。

致谢

本项目获得了欧盟“地平线2020”研究与创新计划的资助，资助协议编号分别为645452（QT21）、644333（TraMOOC）、644402（HimL）和688139（SUMMA）。

Nematus 快速上手指南

Nematus 是一个基于 TensorFlow 构建的神经机器翻译（NMT）工具，支持 RNN 和 Transformer 架构，具备多 GPU 训练、高级正则化及多种解码功能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需通过 WSL 或 Docker 运行）
• Python：Python 3.5 或更高版本（推荐 3.6+）
• 深度学习框架：TensorFlow 1.15 或 TensorFlow 2.x（官方测试版本为 2.0）
• 硬件加速（强烈推荐）：
  • NVIDIA GPU（近期型号效果最佳）
  • CUDA >= 7.0
  • cuDNN >= 4.0
  • 注：仅使用 CPU 训练速度较慢，生产环境建议使用 GPU。

安装步骤

1. 安装依赖

首先安装 Python 包管理工具所需的依赖，并安装 TensorFlow。

pip install --upgrade pip
pip install tensorflow
# 若使用 GPU 版本，建议安装 tensorflow-gpu (TF 1.x) 或直接安装包含 GPU 支持的 tensorflow (TF 2.x+)

国内加速提示：如果下载速度慢，可使用清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow

2. 获取源码

克隆 Nematus 仓库：

git clone https://github.com/EdinburghNLP/nematus.git
cd nematus

3. (可选) Docker 部署

如果您希望避免环境配置冲突，可以使用 Docker 快速构建环境。

构建镜像：

# 将 suffix 替换为 cpu 或 gpu
docker build -t nematus-docker -f Dockerfile.gpu .

运行容器：

# GPU 运行示例 (需安装 nvidia-docker)
nvidia-docker run -v $(pwd):/playground -it nematus-docker

基本使用

Nematus 的核心功能通过命令行脚本调用。以下是训练一个新模型的最简流程。

1. 准备数据

您需要准备源语言和目标语言的平行语料库（每行一个句子），以及对应的词汇表文件。

2. 训练模型

使用 nematus/train.py 启动训练。以下是一个基于 Transformer 架构的最小化训练示例：

python nematus/train.py \
    --model_type transformer \
    --source_dataset data/train.src \
    --target_dataset data/train.trg \
    --dictionaries data/vocab.src.json data/vocab.trg.json \
    --model models/my_first_model \
    --batch_size 80 \
    --maxlen 100 \
    --transformer_enc_depth 6 \
    --transformer_dec_depth 6 \
    --transformer_num_heads 8 \
    --learning_rate 0.0001

关键参数说明：

• --source_dataset / --target_dataset: 平行语料路径。
• --dictionaries: 词汇表文件路径（JSON 格式）。
• --model: 模型保存路径前缀。
• --model_type: 选择 rnn 或 transformer。
• --reload: 如需断点续训，添加此参数并指向已有模型路径（例如 --reload latest_checkpoint）。

3. 解码与翻译

训练完成后，使用 nematus/translate.py 进行翻译：

python nematus/translate.py \
    --models models/my_first_model \
    --input data/test.src \
    --output data/test.pred \
    --beam-size 5

4. 查看帮助

所有脚本均支持 --help 参数以查看详细用法和完整参数列表：

python nematus/train.py --help
python nematus/translate.py --help