ByteNet - 快速神经机器翻译

基于 DeepMind 的 ByteNet 实现的法语到英语机器翻译 TensorFlow 项目， 源自论文 Nal 等人的线性时间神经机器翻译。 该论文提出了一种新颖的方法，用一维空洞卷积和因果卷积替代传统的 RNN， 从而实现了快速训练，并在字符级别的翻译任务上达到了当时最先进的性能。

网络架构（摘自论文）

版本

当前版本：0.0.0.2

依赖项（版本必须完全匹配！）

1. tensorflow == 1.0.0
2. sugartensor == 1.0.0.2
3. nltk == 3.2.2

数据集

为方便起见，我使用了 NLTK 提供的 comtrans 英法平行语料库。您可以按照以下方式轻松下载：

python
>>>> import nltk
>>>> nltk.download_shell()
NLTK 下载器
---------------------------------------------------------------------------
    d) 下载   l) 列表    u) 更新   c) 配置   h) 帮助   q) 退出
---------------------------------------------------------------------------
下载器> d

下载哪个包（l=列表；x=取消）？
  标识符> comtrans
  

与论文实现的不同之处

1. 为了方便起见，我将子批归一化替换为 层归一化。
2. 为简化起见，未采用字符袋方法。
3. 隐层维度设为 400，因为 NLTK 中的 comtrans 语料库较小。（论文中为 892）
4. 生成代码尚未优化。

训练网络

执行

python train.py

以训练网络。您可以在 'asset/train' 目录下看到保存的检查点文件和日志文件。 运行 tensorboard --logdir asset/train/log 来监控训练过程。

我在单块 Titan X GPU 上训练了该模型，历时约 10 小时，直至达到 50 个 epoch。 如果您没有 Titan X GPU，请将 train.py 文件中的 batch_size 从 16 减少至 8。

翻译示例法语句子

执行

python translate.py

以将示例法语句子翻译成英语。结果将打印在控制台上。

示例翻译

结果看起来有些杂乱，但颇具潜力。 尽管 NLTK 中的 comtrans 语料库非常小（在我的实验中仅使用了 17,163 对句子）， 该模型仍能通过字符级别学习英语的词汇结构和语法。 我认为，如果使用更大的语料库，翻译准确率将会更高。

法语（原文）	英语（由 ByteNet 翻译）	英语（由 Google 翻译）
Et pareil phénomène ne devrait pas occuper nos débats ?	And they applied commitments have been satisfied ?	这样的现象不应该占据我们的讨论吗？
Mais nous devons les aider sur la question de la formation .	However , we must addruss that climate condition .	但是我们需要在培训问题上得到帮助。
Les videurs de sociétés sont punis .	The existing considerations in the coming years ago .	公司的保安人员受到了惩罚。
Après cette période , ces échantillons ont été analysés et les résultats illustrent bien la quantité de dioxine émise au cours des mois écoulés .	According to the relevant continent with the intentions and for all , the points of building situation by the directive butchers .	在这段时间之后，这些样本被分析了，结果很好地说明了过去几个月内排放的二恶英数量。
Merci beaucoup , Madame la Commissaire .	Thank you very much for the Commissioner against this perfect .	感谢您，专员女士。
Le Zimbabwe a beaucoup à gagner de l ' accord de partenariat et a un urgent besoin d ' aide et d ' allégement de la dette .	The AIDR problem is carried out corperation in the waken home after a peaceful future and not have their different parts .	津巴布韦可以从伙伴关系协议中获益良多，同时迫切需要援助和债务减免。
Le gouvernement travailliste de Grande-Bretagne a également des raisons d ' être fier de ses performances .	The Larning wants to have a former colleague with the United States is indeed all of the population .	英国工党政府也有理由为其表现感到自豪。
La plupart d' entre nous n' a pas l' intention de se vanter des 3 millions d' euros .	Most of us here would not wish to boast about EUR 3 million .	我们大多数人并不打算吹嘘这 300 万欧元。
Si le Conseil avait travaillé aussi vite que ne l' a fait M. Brok , nous serions effectivement bien plus avancés .	If the Council had worked as quickly as Mr Brok then have been done and general support .	如果欧盟理事会像布鲁克先生那样迅速行动，我们确实会取得更大的进展。
Le deuxième thème important concerne la question de la gestion des contingents tarifaires .	The second important area is the issue of managing tariff quotas .	第二个重要议题是关税配额的管理问题。

预训练模型

您可以使用在 NLTK 的 comtrans 语料库上预训练的模型，将法语句子翻译成英语。 请将以下压缩包解压到 'asset/train' 目录下。 然后尝试在 'translate.py' 文件中输入其他示例法语句子。

其他资源

1. ByteNet 语言模型 TensorFlow 实现

我的其他仓库

1. SugarTensor
2. EBGAN TensorFlow 实现
3. 时间序列 GAN TensorFlow 实现
4. 监督式 InfoGAN TensorFlow 实现
5. AC-GAN TensorFlow 实现
6. SRGAN TensorFlow 实现

作者

金南柱（buriburisuri@gmail.com），任职于 Jamonglabs 有限公司。

ByteNet 快速上手指南

ByteNet 是一个基于 TensorFlow 实现的快速神经机器翻译工具，采用 DeepMind 提出的 ByteNet 架构（使用一维膨胀因果卷积替代传统 RNN），专注于字符级的法语到英语翻译。

环境准备

系统要求

• GPU 推荐：单张 Titan X 或同等算力显卡（若无高性能 GPU，需调整批次大小）。
• Python 版本：建议 Python 2.7 或 3.6+（需兼容 TensorFlow 1.0.0）。

前置依赖

请确保安装以下精确版本的依赖库，版本不匹配可能导致运行失败：

1. TensorFlow: 1.0.0
2. SugarTensor: 1.0.0.2
3. NLTK: 3.2.2

国内加速提示：安装 Python 包时建议使用清华或阿里镜像源以加快下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 安装核心依赖

使用 pip 安装指定版本的库：

pip install tensorflow==1.0.0
pip install sugartensor==1.0.0.2
pip install nltk==3.2.2

2. 下载数据集

本项目使用 NLTK 自带的 comtrans (English-French parallel corpus) 数据集。请在 Python 交互环境中执行以下命令下载：

import nltk
nltk.download_shell()

在弹出的交互界面中依次输入：

1. 输入 d (Download)
2. 输入 comtrans (Identifier)

等待下载完成后退出 shell。

3. 获取预训练模型（可选）

若不想从头训练，可下载预训练模型：

1. 下载 预训练模型压缩包。
2. 将解压后的文件放入项目根目录下的 asset/train 文件夹中。

基本使用

场景一：训练网络

启动训练脚本。默认配置针对 Titan X GPU 优化（batch_size=16）。 注意：如果您的显存较小（非 Titan X），请先编辑 train.py 文件，将 batch_size 从 16 改为 8。

python train.py

• 监控训练：开启新终端运行以下命令，通过 TensorBoard 可视化训练过程：

  tensorboard --logdir asset/train/log
  

• 产出文件：检查点 (ckpt) 和日志文件将保存在 asset/train 目录。

场景二：进行翻译

使用训练好的模型或预训练模型将法语句子翻译为英语：

python translate.py

执行后，翻译结果将直接打印在控制台。您可以修改 translate.py 文件中的示例法语句子进行测试。

效果说明：由于 NLTK 提供的 comtrans 数据集较小（实验仅用了约 1.7 万对数据），翻译结果可能在语法上略显粗糙，但模型已能学习到基本的英语词汇结构和句法。使用更大规模语料库可显著提升准确率。