THUMT：面向神经机器翻译的开源工具包

目录

• 简介
• 在线演示
• 实现方案
• 特色功能
• 文档
• 许可证
• 引用
• 开发团队
• 联系方式
• 衍生仓库

简介

机器翻译是自然语言处理领域的一项任务，旨在利用计算机自动完成自然语言之间的转换。近年来，端到端的神经机器翻译技术发展迅速，已成为当前实际应用中主流的方法。

THUMT是由清华大学自然语言处理组开发的神经机器翻译开源工具包。THUMT的官方网站为：http://thumt.thunlp.org/。

在线演示

THUMT的在线演示地址为：http://translate.thumt.cn/。支持的语言包括古汉语、阿拉伯语、中文、英语、法语、德语、印尼语、日语、葡萄牙语、俄语和西班牙语。

实现方案

目前，THUMT主要有三种实现方案：

• THUMT-PyTorch：基于PyTorch开发的新实现。它实现了Transformer模型（Transformer）（Vaswani等，2017年）。

• THUMT-TensorFlow：基于TensorFlow开发的实现。它实现了序列到序列模型（Seq2Seq）（Sutskever等，2014年），标准的注意力机制模型（RNNsearch）（Bahdanau等，2014年），以及Transformer模型（Transformer）（Vaswani等，2017年）。

• THUMT-Theano：最初基于Theano开发的项目，由于MLA已停止对Theano的支持，该项目不再更新。它实现了标准的注意力机制模型（RNNsearch）（Bahdanau等，2014年），基于评估指标优化模型参数的最小风险训练（MRT）（Shen等，2016年），利用单语语料库学习双向翻译模型的半监督训练（SST）（Cheng等，2016年），以及用于可视化和分析RNNsearch的逐层相关性传播（LRP）（Ding等，2017年）。

下表总结了三种实现方案的功能对比：

实现方案	模型	损失函数	优化器	LRP
Theano	RNNsearch	MLE, MRT, SST	SGD, AdaDelta, Adam	RNNsearch
TensorFlow	Seq2Seq, RNNsearch, Transformer	MLE	Adam	RNNsearch, Transformer
PyTorch	Transformer	MLE	SGD, Adadelta, Adam	不适用

我们推荐使用THUMT-PyTorch或THUMT-TensorFlow，它们的翻译性能优于THUMT-Theano。我们将继续为THUMT-PyTorch和THUMT-TensorFlow添加新功能。

特色功能

• Transformer（Vaswani等，2017年）
• 多GPU训练与解码
• 多工作节点分布式训练
• 混合精度训练与解码
• 模型集成与平均
• 梯度聚合
• TensorBoard可视化

文档

PyTorch实现的文档可在这里查阅。

许可证

源代码采用双重许可。开源许可遵循BSD-3-Clause，允许免费用于研究目的。如需商业许可，请发送邮件至thumt17@gmail.com。

引用

请引用以下论文：

谭志兴、张嘉诚、黄宣成、陈刚、王硕、孙茂松、栾焕博、刘洋。THUMT：面向神经机器翻译的开源工具包。AMTA 2020。

张嘉诚、丁彦卓、沈世奇、程勇、孙茂松、栾焕博、刘洋。2017年。THUMT：面向神经机器翻译的开源工具包。arXiv:1706.06415。

开发团队

项目负责人：孙茂松、刘洋、栾焕博

项目成员：

Theano：张嘉诚、丁彦卓、沈世奇、程勇

TensorFlow：谭志兴、张嘉诚、黄宣成、陈刚、王硕、杨宗翰

PyTorch：谭志兴、陈刚

联系方式

如有任何问题、建议或错误报告，请发送邮件至thumt17@gmail.com。

辐射性项目

• UCE4BT（基于不确定性置信度估计改进反向翻译）
• L2Copy4APE（学习复制以进行自动后期编辑）
• Document-Transformer（利用文档级上下文改进Transformer翻译模型）
• PR4NMT（通过后验正则化将先验知识融入神经机器翻译）

THUMT 快速上手指南

THUMT 是由清华大学自然语言处理实验室（THUNLP）开发的开源神经机器翻译工具包，支持 Transformer、Seq2Seq 等主流模型，具备多卡训练、混合精度训练及分布式训练等特性。

环境准备

系统要求

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6+
• GPU: 支持 CUDA 的 NVIDIA GPU（用于加速训练和推理）

前置依赖

根据你选择的实现版本（推荐 PyTorch 或 TensorFlow），需安装对应深度学习框架：

• THUMT-PyTorch (推荐):

  • PyTorch >= 1.4.0
  • torchvision
  • tensorboardX (可选，用于可视化)

• THUMT-TensorFlow:

  • TensorFlow >= 1.13.0

提示：国内开发者建议使用清华镜像源加速 Python 包安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

以下以推荐的 THUMT-PyTorch 版本为例：

1. 克隆代码仓库

   git clone https://github.com/thumt/THUMT.git
   cd THUMT
   

2. 安装依赖 确保已安装 PyTorch，然后安装其他必要依赖：

   pip install -r requirements.txt
   

   若需加速，可使用：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

3. 验证安装 进入 thumt 目录，尝试运行帮助命令确认环境正常：

   python thumt/bin/train.py --help
   

基本使用

以下是一个基于 Transformer 模型的最小化训练示例（假设已准备好双语语料 train.src, train.tgt, valid.src, valid.tgt 及词汇表）。

1. 数据预处理

生成二进制数据文件（以 PyTorch 后端为例）：

python thumt/bin/preprocess.py \
    --source train.src \
    --target train.tgt \
    --output data_prefix \
    --source_vocab source_vocab.txt \
    --target_vocab target_vocab.txt \
    --dataset_type torch

2. 模型训练

启动单卡或多卡训练：

python thumt/bin/train.py \
    --model transformer \
    --input data_prefix \
    --output output_dir \
    --gpus [0] \
    --max_epoch 10 \
    --batch_size 4096 \
    --update_freq 1

注：多卡训练只需修改 --gpus 参数，例如 --gpus [0,1,2,3]。

3. 模型推理（翻译）

使用训练好的模型对测试集进行翻译：

python thumt/bin/translate.py \
    --model output_dir/model.best.pt \
    --input test.src \
    --output trans.txt \
    --gpu 0 \
    --beam_size 5

生成的 trans.txt 即为翻译结果。更详细的参数配置和高级用法请参考项目根目录下的 docs/index.md 文档。