NMT-Keras

使用 Keras 的神经机器翻译。

库文档：nmt-keras.readthedocs.io

注意力循环神经网络 NMT 模型

Transformer NMT 模型

功能（除了完整的 Keras 生态系统之外）：

• :heavy_exclamation_mark: 多 GPU 训练（仅适用于 Tensorflow）。
• Transformer 模型。
• TensorBoard 集成。
• 在线学习和交互式神经机器翻译 (INMT)。请参阅 交互式 NMT 分支。
• 对输入序列的注释应用注意力机制。
  • 支持 Bahdanau (Add) 和 Luong (Dot) 注意力机制。
  • 还支持双重随机注意力（来自 arXiv:1502.03044 的公式 14）。
• 透视解码器：前一时刻生成的词作为当前时间步的输入。
• 束搜索解码。
• 集成解码（sample_ensemble.py）。
  • 包含长度和源端覆盖率归一化（参考文献）。
• 翻译评分（score.py）。
• 模型平均（utils/model_average.py）。
• 支持 GRU/LSTM 网络：
  • 常规 GRU/LSTM 单元。
  • 解码器中的条件式 GRU/LSTM 单元。
  • 多层残差 GRU/LSTM 网络（及其条件式版本）。
• 标签平滑。
• 生成 N-best 列表（作为束搜索过程的副产品）。
• 未知词替换（参见 这篇论文 第 3.3 节）。
• 使用预训练的 (Glove 或 Word2Vec) 词嵌入向量。
• 用于初始化 RNN 隐状态和记忆状态的 MLP。
• Spearmint 包装器 用于超参数优化。
• 客户端-服务器 架构用于 Web 演示：
  • 常规 NMT。
  • 交互式 NMT。
  • 查看演示！

安装

假设您已安装并更新了 pip（>18），请运行：

git clone https://github.com/lvapeab/nmt-keras
cd nmt-keras
pip install -e .

以安装该库。

要求

NMT-Keras 需要以下库：

• 我们版本的 Keras（推荐 v. 2.0.7 或更高版本）。
• 多模态 Keras 包装器（v. 2.0 或更高版本）。(文档 和 教程)。

为了加速在 CUDA GPU 上的训练和解码，您可以选择安装：

• CuDNN。
• CuPy。

若要使用额外的指标（Meteor、TER 等）进行评估，可以使用 Coco-caption 评估包，并在 config.py 文件中设置 METRICS='coco'。该包需要 java（版本 1.8.0 或更高）。

使用方法

训练

1. 在 config.py 脚本中设置训练配置。每个参数都有注释说明。有关每个特定超参数的更多信息，请参阅 文档文件。 您也可以在调用 main.py 脚本时按照 Key=Value 的语法指定参数。

2. 开始训练！

python main.py

解码

训练好模型后，我们可以使用 sample_ensemble.py 脚本来翻译新文本。有关此脚本的更多详细信息，请参阅 集成教程。 简而言之，如果我们想使用前三个 epoch 的模型来翻译 examples/EuTrans/test.en 文件，只需运行：

 python sample_ensemble.py 
             --models trained_models/tutorial_model/epoch_1 \ 
                      trained_models/tutorial_model/epoch_2 \
             --dataset datasets/Dataset_tutorial_dataset.pkl \
             --text examples/EuTrans/test.en

评分

可以使用 score.py 脚本来获取平行语料库的（-log）概率。其语法如下：

python score.py --help
用法：使用多个翻译模型对源语言—目标语言对进行评分
       [-h] -ds DATASET [-src SOURCE] [-trg TARGET] [-s SPLITS [SPLITS ...]]
       [-d DEST] [-v] [-c CONFIG] --models MODELS [MODELS ...]
可选参数：
    -h, --help            显示此帮助信息并退出
    -ds DATASET, --dataset DATASET
                            包含数据的数据集实例
    -src SOURCE, --source SOURCE
                            包含源语言句子的文本文件
    -trg TARGET, --target TARGET
                            包含目标语言句子的文本文件
    -s SPLITS [SPLITS ...], --splits SPLITS [SPLITS ...]
                            用于采样的分割。应已包含在数据集对象中。
    -d DEST, --dest DEST  保存评分结果的文件
    -v, --verbose         输出详细信息
    -c CONFIG, --config CONFIG
                            用于加载模型配置的 config pkl 文件。若未指定，则从 config.py 中读取超参数
    --models MODELS [MODELS ...]
                            模型路径

高级功能

其他功能，例如在线学习或交互式 NMT 协议，已在 interactiveNMT 分支中实现。

资源

• examples/documentation/nmt-keras_paper.pdf 包含 NMT-Keras 框架的总体概述。

• 在 examples/documentation/neural_machine_translation.pdf 中，您可以找到关于注意力机制 NMT 系统的概述。

• 在 examples 文件夹中，您会找到 2 个 Colab 笔记本，解释了该库的基本用法：

• 完整 NMT 实验简介：

• 解剖后的 NMT 模型：

• 在 examples/configs 文件夹中，您会找到两个大型模型的配置示例。

引用

如果您在研究中使用此工具包，请引用以下内容：

@article{nmt-keras:2018,
 journal = {布拉格数学语言学通报},
 title = {{NMT-Keras：一个非常灵活的工具包，专注于交互式 NMT 和在线学习}},
 author = {Álvaro Peris 和 Francisco Casacuberta},
 year = {2018},
 volume = {111},
 pages = {113--124},
 doi = {10.2478/pralin-2018-0010},
 issn = {0032-6585},
 url = {https://ufal.mff.cuni.cz/pbml/111/art-peris-casacuberta.pdf}
}

NMT-Keras 已被用于多篇论文中：

• 交互式神经机器翻译中的在线学习以减少工作量
• 利用平行合成数据调整神经机器翻译
• 用于神经机器翻译后编辑的在线学习

致谢

该库的大部分内容是与 Marc Bolaños（个人主页）共同开发的，用于解决其他序列到序列问题。

要查看遵循与 NMT-Keras 相同理念和风格的其他项目，请参阅：

TMA：基于时序关联序列的自我中心字幕生成。

VIBIKNet：视觉问答。

ABiViRNet：视频描述。

Sentence SelectioNN：句子分类与选择。

DeepQuest：用于多层次质量评估的最先进模型。

注意！

Theano 后端已不再测试，尽管它应该可以正常工作。Theano 后端存在一个已知问题。运行 NMT-Keras 时，将显示以下消息：

[...]
raise theano.gof.InconsistencyError("试图重新引入已被移除的节点")
不一致错误：试图重新引入已被移除的节点

这不是严重错误，模型仍能正常运行，可以忽略。然而，如果您希望消除该消息，可以使用 Theano 标志 optimizer_excluding=scanOp_pushout_output。

联系方式

Álvaro Peris（个人主页）：lvapeab@prhlt.upv.es

NMT-Keras 快速上手指南

NMT-Keras 是一个基于 Keras 的灵活神经机器翻译（NMT）工具包，支持 Transformer、RNN（LSTM/GRU）、注意力机制、束搜索（Beam Search）以及交互式翻译等高级功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需通过 WSL 运行)
• Python 版本: 3.7 及以上
• 包管理器: pip (建议版本 > 18)
• 核心依赖:
  • Keras (特定版本): 推荐使用 v2.0.7 或更新版本。
  • Multimodal Keras Wrapper: v2.0 或更新版本。
• 可选加速依赖 (用于 CUDA GPU 加速):
  • CuDNN
  • CuPy
• 可选评估依赖 (用于计算 Meteor, TER 等指标):
  • Java (版本 1.8.0 或更新)
  • Coco-caption 评估包

注意: 该工具包主要针对 TensorFlow 后端进行了优化和多 GPU 支持。虽然理论上支持 Theano 后端，但已知存在非关键性报错信息，建议优先使用 TensorFlow。

安装步骤

请使用以下命令克隆仓库并进行本地安装：

git clone https://github.com/lvapeab/nmt-keras
cd nmt-keras
pip install -e .

安装完成后，库及其依赖项将配置就绪。如需使用特定的评估指标，请参考官方文档额外配置 coco-caption 包并在 config.py 中设置 METRICS='coco'。

基本使用

1. 模型训练

训练过程主要通过修改配置文件并运行主脚本完成。

第一步：配置参数 编辑根目录下的 config.py 文件。该文件中每个参数均有注释说明。您也可以在运行命令时通过 Key=Value 的形式直接覆盖配置。

• 详细参数说明可参考：config.md

第二步：启动训练 在终端执行以下命令开始训练：

python main.py

2. 模型解码（翻译）

训练完成后，使用 sample_ensemble.py 脚本对新文本进行翻译。该脚本支持模型集成（Ensemble decoding）。

示例： 假设您已训练好模型，并希望使用前两个 epoch 的模型（epoch_1, epoch_2）来翻译 examples/EuTrans/test.en 文件，请运行：

python sample_ensemble.py \
    --models trained_models/tutorial_model/epoch_1 \
             trained_models/tutorial_model/epoch_2 \
    --dataset datasets/Dataset_tutorial_dataset.pkl \
    --text examples/EuTrans/test.en

• --models: 指定一个或多个用于集成的模型路径。
• --dataset: 指定包含数据预处理信息的 pickle 文件。
• --text: 指定待翻译的源语言文本文件。

3. 进阶资源

• 在线教程: 项目提供了两个 Colab 笔记本，适合快速体验：
  • 完整 NMT 实验入门
  • NMT 模型结构解析
• 交互式翻译: 如需使用在线学习或交互式神经机器翻译（INMT）功能，请切换至 interactive_NMT 分支。