PyTorch Seq2Seq

此仓库包含教程，涵盖使用 PyTorch 配合 Python 3.9 理解和实现序列到序列（sequence-to-sequence，简称 seq2seq）模型的内容。具体来说，我们将训练模型以进行德语到英语的翻译。

如果您发现任何错误或对任何解释有异议，请随时 提交问题。我欢迎任何反馈，无论是正面的还是负面的！

开始使用

使用以下命令安装所需的依赖项：pip install -r requirements.txt --upgrade。

我们还将使用 spaCy 来对数据进行分词（tokenize），这需要安装英文和德文模型，命令如下：

python -m spacy download en_core_web_sm
python -m spacy download de_core_news_sm

教程

• 1 - Sequence to Sequence Learning with Neural Networks

  本第一个教程涵盖了使用 PyTorch 进行 seq2seq 项目的工作流程。我们将介绍基于编码器 - 解码器（encoder-decoder）模型的 seq2seq 网络基础，如何在 PyTorch 中实现这些模型，以及如何使用 datasets/spacy/torchtext/evaluate 库来完成繁重的任务。该模型本身将基于 使用神经网络进行序列到序列学习 的实现，该实现使用了多层长短期记忆网络（LSTMs）。

• 2 - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

  现在我们已经掌握了基本工作流程，本教程将专注于改进我们的结果。在 PyTorch 知识的基础上，我们将实现第二个模型，它有助于解决编码器 - 解码器模型面临的信息压缩问题。该模型将基于 使用 RNN 编码器 - 解码器学习短语表示用于统计机器翻译 的实现，该实现使用了门控循环单元（GRUs）。

• 3 - Neural Machine Translation by Jointly Learning to Align and Translate

  接下来，我们通过实现 联合学习对齐与翻译的神经机器翻译 来了解注意力机制（attention）。这通过允许解码器“回顾”输入句子，创建作为编码器隐藏状态的加权和的上下文向量，进一步缓解了信息压缩问题。该加权和的权重通过注意力机制计算，其中解码器学会关注输入句子中最相关的单词。

旧版教程

这些教程的先前版本使用了 torchtext 库中的功能，但这些功能已不再可用。它们存储在 legacy 目录中。

参考资料

以下是我在制作这些教程时参考的一些内容。其中一些可能已过时。

• https://github.com/spro/practical-pytorch
• https://github.com/keon/seq2seq
• https://github.com/pengshuang/CNN-Seq2Seq
• https://github.com/pytorch/fairseq
• https://github.com/jadore801120/attention-is-all-you-need-pytorch
• http://nlp.seas.harvard.edu/2018/04/03/attention.html
• https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/

pytorch-seq2seq 快速上手指南

pytorch-seq2seq 是一个基于 PyTorch 的序列到序列（Seq2Seq）模型教程仓库。本工具通过实战案例，指导开发者理解并实现 Encoder-Decoder 架构，主要用于机器翻译任务（例如：德语转英语）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.9 及以上
• 依赖框架：PyTorch, TorchText, spaCy
• 硬件建议：推荐使用 GPU 加速训练过程

💡 国内开发者提示：由于网络原因，建议在安装 Python 包时使用国内镜像源（如清华源或阿里云源），可显著提升下载速度。

安装步骤

1. 克隆项目

将代码仓库克隆到本地：

git clone https://github.com/bentrevett/pytorch-seq2seq.git
cd pytorch-seq2seq

2. 安装 Python 依赖

安装项目所需的 Python 包：

pip install -r requirements.txt --upgrade

3. 下载语言模型

本项目使用 spaCy 进行数据分词，需分别下载英文和德文的小规模模型：

python -m spacy download en_core_web_sm
python -m spacy download de_core_news_sm

基本使用

该项目主要通过 Jupyter Notebook 提供交互式教程，无需编写额外脚本即可运行核心逻辑。

1. 启动 Notebook

在项目根目录下运行以下命令启动 Jupyter 服务：

jupyter notebook

2. 选择教程

打开浏览器访问 http://localhost:8888，进入 pytorch-seq2seq 目录，推荐按顺序学习以下三个核心教程：

• Tutorial 1: Sequence to Sequence Learning with Neural Networks
  • 内容：基础工作流，基于多层 LSTM 的 Encoder-Decoder 模型。
• Tutorial 2: Learning Phrase Representations using RNN Encoder-Decoder
  • 内容：改进模型，使用 GRU 解决信息压缩问题。
• Tutorial 3: Neural Machine Translation by Jointly Learning to Align and Translate
  • 内容：引入 Attention 机制，优化解码器对输入句子的关注。

3. 运行示例

在 Notebook 中依次点击菜单栏的 Kernel -> Restart & Run All，即可从头到尾执行数据预处理、模型训练及评估流程。