基于 TensorFlow 的序列到序列模型

一系列尚未完成的教程。可能适用于教学目的。

1 - 带有动态展开的简单序列到序列模型

这是一个刻意放慢节奏、非常详细的教程。我尽力对所有可能让人感到困惑的地方进行了充分解释。

实现了 Sutskever 等人, 2014 中描述的简单序列到序列模型，并用一个玩具记忆任务对其进行测试。

图片来自 Sutskever 等人, 2014

2 - 高级动态序列到序列模型

编码器现在是双向的。解码器使用 tf.nn.raw_rnn 实现，在训练过程中会将之前生成的标记作为输入，而不是目标序列。

图片来自 深度学习用于聊天机器人

3 - 使用 tf.contrib.seq2seq (TF≤1.1)

在 r1.0 版本中出现了新的动态序列到序列模型。让我们来试试吧。

更新：本教程在 TF 版本 > 1.1 时无法正常工作。建议改看新的官方教程，以学习高层次的序列到序列 API。

tensorflow-seq2seq-tutorials 快速上手指南

本指南基于 tensorflow-seq2seq-tutorials 项目整理，旨在帮助开发者快速理解并运行经典的 Sequence-to-Sequence (Seq2Seq) 模型教程。该项目包含三个递进的 Jupyter Notebook 教程，适合教育学习用途。

注意：本项目主要基于 TensorFlow 1.x 版本编写。其中教程 3 仅适用于 TensorFlow <= 1.1。若需使用高版本 TensorFlow (2.x) 学习 Seq2Seq，建议参考 TensorFlow 官方 NMT 教程。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 - 3.8 (兼容 TensorFlow 1.x)
• 核心依赖：
  • TensorFlow 1.0 - 1.15 (教程 1 和 2 兼容性较好；教程 3 严格限制在 <= 1.1)
  • Jupyter Notebook
  • NumPy, Matplotlib

国内加速方案： 建议使用清华大学或阿里云镜像源安装依赖，以提升下载速度。

安装步骤

1. 克隆项目代码

git clone https://github.com/ichiban/tensorflow-seq2seq-tutorials.git
cd tensorflow-seq2seq-tutorials

2. 创建虚拟环境（推荐）

python -m venv seq2seq-env
source seq2seq-env/bin/activate  # Windows 用户请使用: seq2seq-env\Scripts\activate

3. 安装依赖

使用国内镜像源安装 TensorFlow 1.15 (兼容前两个教程的最佳平衡版本) 及 Jupyter：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15.0 jupyter numpy matplotlib

提示：如果您必须运行教程 3 (3-seq2seq-native-new.ipynb)，请将 TensorFlow 版本降级为 1.1： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.1.0

基本使用

本项目由三个 Jupyter Notebook 组成，按难度递增。启动服务后即可在浏览器中交互运行。

1. 启动 Jupyter Notebook

在项目根目录下执行：

jupyter notebook

浏览器将自动打开，显示文件列表。

2. 运行教程示例

入门：简单 Seq2Seq 模型

打开 1-seq2seq.ipynb。

• 内容：实现 Sutskever et al. (2014) 提出的基础 Seq2Seq 模型，包含动态展开 (dynamic unrolling)。
• 任务：通过一个简单的“记忆任务”玩具数据集进行训练和测试。
• 特点：节奏缓慢，注释详细，适合初学者逐行理解原理。
• 操作：依次点击单元格运行 (Shift+Enter)，观察损失下降及模型输出。

进阶：双向编码器与前馈解码

打开 2-seq2seq-advanced.ipynb。

• 内容：升级为双向编码器 (Bidirectional Encoder)，并使用 tf.nn.raw_rnn 实现解码器。
• 特性：在训练过程中，将上一步生成的 token 作为下一步的输入 (Feed Previous)，而非直接使用目标序列。
• 操作：运行单元格，对比其与基础模型在收敛速度和效果上的差异。

高级：使用 tf.contrib.seq2seq (仅限 TF <= 1.1)

打开 3-seq2seq-native-new.ipynb。

• 内容：尝试 TensorFlow r1.0 引入的新版动态 Seq2Seq API (tf.contrib.seq2seq)。
• 警告：此教程不兼容 TensorFlow > 1.1 版本。如果您使用的是 TF 1.15 或 2.x，运行此文件可能会报错。
• 替代方案：如需学习现代高阶 API，请跳转至 TensorFlow 官方 NMT 仓库。

3. 验证结果

运行完单元格后，Notebook 会输出训练过程中的 Loss 曲线以及模型对测试输入的预测结果。对于玩具记忆任务，模型应能准确复现输入序列。