《Attention is All You Need》中的Transformer模型：Keras实现。

基于Keras和TensorFlow的Transformer实现：“Attention is All You Need”（Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Lukasz Kaiser、Illia Polosukhin，arXiv，2017年）

使用说明

请参考 en2de_main.py 和 pinyin_main.py。

en2de_main.py

• 该任务与 jadore801120/attention-is-all-you-need-pytorch 中的任务相同：WMT'16 多模态机器翻译——Multi30k（德语到英语）(http://www.statmt.org/wmt16/multimodal-task.html)。我们借用了该仓库中的数据预处理步骤0和步骤1，随后构建了输入文件 en2de.s2s.txt。

结果

• 代码的性能接近该仓库中的结果：验证集准确率约为70%。如果使用较小的模型参数，例如 layers=2 和 d_model=256，由于任务规模较小，验证集准确率会更高。

针对您自己的数据

• 只需将您的源序列和目标序列按照 en2de.s2s.txt 和 pinyin.corpus.examples.txt 的格式进行预处理即可。

注意事项

• 当层数较多时，论文中提到的特殊学习率调度器是必要的。
• 在 pinyin_main.py 中，我尝试了另一种训练深度网络的方法：先训练第一层和嵌入层，再训练两层模型，然后逐步增加到三层等。在本任务中，这种方法是可行的。

升级内容

• 重构了部分类。
• 现在可以更方便地在其他模型中复用这些组件，只需导入 transformer.py 即可。
• 添加了一个快速的分步解码器，并升级了束搜索算法。不过，这些模块仍需进一步改进以提高可重用性。
• 已适配TensorFlow 2.6.0版本。

致谢

• 部分模型结构和脚本借鉴自 jadore801120/attention-is-all-you-need-pytorch。

attention-is-all-you-need-keras 快速上手指南

本指南帮助中国开发者快速使用基于 Keras + TensorFlow 实现的 Transformer 模型（源自论文《Attention is All You Need》）。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.6 - 3.9
• 核心依赖：
  • TensorFlow >= 2.6.0
  • Keras (通常随 TensorFlow 内置)
  • NumPy
  • 其他标准科学计算库

国内加速建议：安装依赖时推荐使用清华或阿里镜像源，以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow>=2.6.0 numpy

安装步骤

1. 克隆项目代码到本地：

   git clone https://github.com/your-repo/attention-is-all-you-need-keras.git
   cd attention-is-all-you-need-keras
   

2. 安装所需 Python 依赖（推荐国内镜像）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若项目中无 requirements.txt，请直接安装核心依赖：

   pip install tensorflow>=2.6.0 numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目提供了两个主要示例脚本，分别用于机器翻译和拼音转换任务。

1. 运行英文到德文翻译示例 (WMT'16 Multi30k)

该脚本复现了原论文中的多模态翻译任务，数据预处理参考了相关 PyTorch 实现。

python en2de_main.py

• 预期结果：验证集准确率约为 70%。
• 小模型调优：对于此类小规模任务，若使用较小参数（如 layers=2, d_model=256），效果可能更佳。

2. 运行拼音转换示例

该脚本展示了一种分层训练深度网络的方法（先训练嵌入层和第一层，再逐步增加层数）。

python pinyin_main.py

3. 使用自定义数据

若要使用自己的数据集，请按以下格式预处理源序列和目标序列：

• 参考格式文件：en2de.s2s.txt 或 pinyin.corpus.examples.txt
• 将处理好的数据放入对应路径后，修改主脚本中的数据加载部分即可开始训练。

4. 作为组件调用

你可以直接在其它项目中导入核心模块来构建自定义模型：

from transformer import Transformer
# 在此处实例化并配置你的模型

注意：若增加网络层数（Layers），建议使用论文中提到的特殊学习率调度器（Learning Rate Scheduler）以获得最佳收敛效果。