一切皆在注意力机制：PyTorch 实现

这是对论文《Attention is All You Need》（Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin，arXiv，2017）中 Transformer 模型的 PyTorch 实现。

一种新颖的序列到序列框架利用自注意力机制，而非卷积操作或循环结构，在WMT 2014 英德翻译任务上取得了当时最先进的性能。（2017年6月12日）

官方 TensorFlow 实现可在以下仓库找到：tensorflow/tensor2tensor。

若想深入了解自注意力机制，可阅读论文《A Structured Self-attentive Sentence Embedding》（https://arxiv.org/abs/1703.03130）。

该项目目前支持训练以及使用已训练好的模型进行翻译。

请注意，本项目仍在开发中。

与 BPE 相关的部分尚未完全测试。

如果您有任何建议或发现错误，请随时提交 issue 告知我。 :)

使用方法

WMT'16 多模态翻译：德语→英语

以 WMT'16 多模态翻译任务（http://www.statmt.org/wmt16/multimodal-task.html）为例进行训练。

0) 下载 spaCy 语言模型。

# conda install -c conda-forge spacy 
python -m spacy download en
python -m spacy download de

1) 使用 torchtext 和 spaCy 对数据进行预处理。

python preprocess.py -lang_src de -lang_trg en -share_vocab -save_data m30k_deen_shr.pkl

2) 训练模型

python train.py -data_pkl m30k_deen_shr.pkl -log m30k_deen_shr -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3) 测试模型

python translate.py -data_pkl m30k_deen_shr.pkl -model trained.chkpt -output prediction.txt

[(开发中)] WMT'17 多模态翻译：德语→英语 w/ BPE

1) 下载并使用 BPE 对数据进行预处理：

由于接口尚未统一，您需要将主函数调用从 main_wo_bpe 切换为 main。

python preprocess.py -raw_dir /tmp/raw_deen -data_dir ./bpe_deen -save_data bpe_vocab.pkl -codes codes.txt -prefix deen

2) 训练模型

python train.py -data_pkl ./bpe_deen/bpe_vocab.pkl -train_path ./bpe_deen/deen-train -val_path ./bpe_deen/deen-val -log deen_bpe -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

3) 测试模型（未完成）

• 待办事项：
  • 加载词汇表。
  • 在翻译后执行解码。

---

性能

训练

• 参数设置：
  • 批量大小 256
  • 预热步数 4000
  • 轮次 200
  • 学习率乘子 0.5
  • 标签平滑
  • 不使用 BPE 和共享词汇表
  • 目标嵌入层与 softmax 前线性层权重共享。

测试

• 即将推出。

---

待办事项

• 对生成文本进行评估。
• 绘制注意力权重图。

---

致谢

• 字节对编码部分借鉴自 subword-nmt。
• 项目结构、部分脚本以及数据预处理步骤大量参考了 OpenNMT/OpenNMT-py。
• 感谢 @srush、@iamalbert、@Zessay、@JulesGM、@ZiJianZhao 和 @huanghoujing 的建议。

attention-is-all-you-need-pytorch 快速上手指南

本指南基于 attention-is-all-you-need-pytorch 项目，帮助开发者快速在 PyTorch 环境中复现 Transformer 模型（源自论文 Attention is All You Need），并执行基础的机器翻译训练与推理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应兼容环境）
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • PyTorch
  • torchtext
  • spacy (用于分词)
• 硬件建议：建议使用支持 CUDA 的 GPU 进行训练以加速过程。

前置依赖安装

首先安装 spacy 及其语言模型（英语和德语示例）：

# 推荐使用 conda 安装 spacy
conda install -c conda-forge spacy 

# 下载英语和德语语言模型
python -m spacy download en
python -m spacy download de

国内加速提示：如果 conda 或 pip 下载缓慢，建议配置清华源或阿里源。

• Conda 配置清华源：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
• Pip 配置清华源：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

该项目主要为脚本集合，无需复杂的 setup.py 安装过程。只需克隆仓库并确保上述依赖已就绪即可。

git clone https://github.com/jadore801120/attention-is-all-you-need-pytorch.git
cd attention-is-all-you-need-pytorch

确认目录中包含 preprocess.py, train.py, translate.py 等核心脚本。

基本使用

以下以 WMT'16 多模态翻译任务（德语 -> 英语） 为例，展示从数据预处理到模型训练及测试的最简流程。

1. 数据预处理

使用 torchtext 和 spacy 对数据进行预处理，生成共享词表的 pickle 文件。

python preprocess.py -lang_src de -lang_trg en -share_vocab -save_data m30k_deen_shr.pkl

• -lang_src de: 源语言为德语
• -lang_trg en: 目标语言为英语
• -share_vocab: 共享源语言和目标语言的词表
• -save_data: 输出数据文件路径

2. 训练模型

使用预处理好的数据启动训练。以下命令开启了标签平滑（label smoothing）、权重共享等优化策略。

python train.py -data_pkl m30k_deen_shr.pkl -log m30k_deen_shr -embs_share_weight -proj_share_weight -label_smoothing -output_dir output -b 256 -warmup 128000 -epoch 400

• -b 256: Batch size 设为 256
• -warmup 128000: 预热步数
• -epoch 400: 训练轮数
• -output_dir output: 模型检查点保存目录

3. 测试/翻译模型

训练完成后，使用生成的检查点文件进行翻译测试。

python translate.py -data_pkl m30k_deen_shr.pkl -model trained.chkpt -output prediction.txt

• -model trained.chkpt: 替换为您实际训练生成的 .chkpt 文件名
• -output prediction.txt: 翻译结果输出文件

---

注意：

• 本项目中涉及 BPE (Byte Pair Encoding) 的功能部分尚在完善中（WIP），初学者建议先使用上述默认的无 BPE 流程。
• 训练时间和效果取决于硬件配置及数据集大小，上述参数为参考配置，可根据实际情况调整。