使用 PyTorch 的序列到序列模型

本仓库包含使用 PyTorch 实现的序列到序列（Seq2Seq）模型。

目前包含以下实现：

• 基础序列到序列模型
• 基于注意力机制的序列到序列模型，分别来自 https://arxiv.org/abs/1409.0473 和 https://arxiv.org/abs/1508.04025
• 利用编码器和解码器最终隐藏状态之间的点积实现的更快速注意力机制
• 序列到序列自编码器（实验性）

序列到序列模型

在 https://arxiv.org/abs/1409.3215 和 https://arxiv.org/abs/1406.1078 中提出的基础序列到序列模型，是使用循环神经网络，如 LSTM（http://dl.acm.org/citation.cfm?id=1246450）或 GRU（https://arxiv.org/abs/1412.3555），将源语言中的单词或字符序列编码为固定长度的向量表示，然后使用目标语言中的另一个 RNN 从该表示中解码出来。

在 https://arxiv.org/abs/1409.0473 中提出了一种引入注意力机制的序列到序列模型扩展，它在解码器 RNN 的每个时间步利用源语言 RNN 隐状态中的信息。这种注意力机制显著提升了机器翻译等任务的性能。关于机器翻译任务的注意力模型的一些变体则在 https://arxiv.org/abs/1508.04025 中被提出。

该仓库还包含一种更简单、更快速的注意力机制变体，它不在解码器的每个时间步都对编码器的隐状态进行注意力计算，而是等到解码器处理完所有输入后，一次性计算解码器和编码器所有隐状态之间的批量点积。不过，这样做会略微降低模型性能。该模型的一个优点是可以同时在基于注意力的解码器中使用 cuDNN LSTM，因为注意力是在解码器遍历完所有输入之后才计算的。

英法 WMT14 数据集上的结果

以下展示了在 WMT14 英法数据集上训练时所采用的模型架构及取得的结果。训练数据为 Europral-v7 中的英法双语句对，验证数据集为 newstest2011。

模型的训练配置如下：

• 源语言和目标语言词嵌入维度：512
• 源语言和目标语言 LSTM 隐状态维度：1024
• 编码器：2 层双向 LSTM
• 解码器：1 层 LSTM
• 优化方法：Adam，学习率 0.0001，批大小 80
• 解码策略：贪心解码（argmax）

模型	BLEU	每轮训练时间
Seq2Seq	11.82	2 小时 50 分钟
Seq2Seq FastAttention	18.89	3 小时 45 分钟
Seq2Seq Attention	22.60	4 小时 47 分钟

以上时间是在 2016 年之前发布的 Nvidia GeForce Titan X 显卡上测得的。

运行

要运行，请编辑配置文件并执行 python nmt.py --config 。

注意：目前仅支持在 GPU 上运行。

Seq2Seq-PyTorch 快速上手指南

Seq2Seq-PyTorch 是一个基于 PyTorch 实现的序列到序列（Seq2Seq）模型库，支持 vanilla Seq2Seq、带注意力机制（Attention）的 Seq2Seq 以及更快的注意力变体。本指南将帮助你快速配置环境并运行模型。

环境准备

• 系统要求：
  • GPU 支持：本项目目前仅支持在 GPU 上运行。请确保你的机器配备 NVIDIA GPU 并已正确安装驱动。
  • 操作系统：Linux 或 macOS（推荐 Linux）。
• 前置依赖：
  • Python 3.x
  • PyTorch（需包含 CUDA 支持版本）
  • cuDNN（用于加速 LSTM 运算，特别是使用 Fast Attention 时）

安装步骤

1. 克隆仓库

   git clone https://github.com/spro/practical-pytorch.git # 注意：根据实际 repo 地址调整，此处假设标准 seq2seq pytorch 实现地址，若为特定 fork 请替换
   cd Seq2Seq-PyTorch
   

   (注：如果原仓库地址不同，请使用实际的 git clone 地址)

2. 安装 Python 依赖 建议使用 conda 或 pip 创建虚拟环境。

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   

   提示：国内用户可使用清华源加速 pip 安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据 根据 README 描述，默认示例使用 WMT14 English-French 数据集。你需要下载相应的平行语料库（如 Europarl-v7），并将其放置在项目指定的数据目录中，或在配置文件中指定路径。

基本使用

使用前需先配置模型参数。

1. 编辑配置文件 复制并修改现有的配置文件（例如 config/default.yaml 或项目提供的示例 config 文件），设置以下关键参数：

   • 数据路径（Source/Target data paths）
   • 嵌入维度（Embedding dimensions，默认 512）
   • LSTM 隐藏层维度（Hidden dimensions，默认 1024）
   • 优化器设置（Adam, lr=0.0001, batch_size=80）

2. 运行训练 执行以下命令启动神经机器翻译（NMT）训练任务：

   python nmt.py --config <your_config_file>
   

   将 <your_config_file> 替换为你实际配置的 YAML 或 JSON 文件路径。

3. 模型选择说明 在配置文件中，你可以通过调整架构参数来选择不同的模型变体：

   • Vanilla Seq2Seq：基础编码器-解码器结构。
   • Seq2Seq Attention：标准注意力机制，性能最佳但速度较慢。
   • Seq2Seq FastAttention：基于最终隐藏状态点积的快速注意力机制，速度较快且允许在解码器中使用 cuDNN LSTM，性能略有牺牲但优于 Vanilla 模型。

注意：请确保运行环境已正确识别 GPU，否则程序可能无法启动。