nlp-tutorial

nlp-tutorial 是一个使用 Pytorch 学习自然语言处理（NLP）的教程。NLP 中的大多数模型都用不到 100 行 的代码实现。（不包括注释和空行）

• [2020年8月14日] 旧版 TensorFlow v1 的代码已归档至 archive 文件夹。为便于初学者阅读，仅支持 Pytorch 1.0 及以上版本。

课程大纲 - （示例用途）

1. 基础嵌入模型

• 1-1. NNLM（神经网络语言模型） - 预测下一个词
  • 论文 - A Neural Probabilistic Language Model（2003）
  • Colab - NNLM.ipynb
• 1-2. Word2Vec（Skip-gram） - 词嵌入并可视化图谱
  • 论文 - Distributed Representations of Words and Phrases and their Compositionality（2013）
  • Colab - Word2Vec.ipynb
• 1-3. FastText（应用级） - 句子分类
  • 论文 - Bag of Tricks for Efficient Text Classification（2016）
  • Colab - FastText.ipynb

2. CNN（卷积神经网络）

• 2-1. TextCNN - 二元情感分类
  • 论文 - Convolutional Neural Networks for Sentence Classification（2014）
  • TextCNN.ipynb

3. RNN（循环神经网络）

• 3-1. TextRNN - 预测下一步
  • 论文 - Finding Structure in Time（1990）
  • Colab - TextRNN.ipynb
• 3-2. TextLSTM - 自动补全
  • 论文 - LONG SHORT-TERM MEMORY（1997）
  • Colab - TextLSTM.ipynb
• 3-3. Bi-LSTM - 在长句中预测下一个词
  • Colab - Bi_LSTM.ipynb

4. 注意力机制

• 4-1. Seq2Seq - 单词转换
  • 论文 - Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation（2014）
  • Colab - Seq2Seq.ipynb
• 4-2. 带有注意力机制的 Seq2Seq - 翻译
  • 论文 - Neural Machine Translation by Jointly Learning to Align and Translate（2014）
  • Colab - Seq2Seq(Attention).ipynb
• 4-3. 带有注意力机制的 Bi-LSTM - 二元情感分类
  • Colab - Bi_LSTM(Attention).ipynb

5. 基于 Transformer 的模型

• 5-1. Transformer - 翻译
  • 论文 - Attention Is All You Need（2017）
  • Colab - Transformer.ipynb, Transformer(Greedy_decoder).ipynb
• 5-2. BERT - 下一句分类与掩码标记预测
  • 论文 - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（2018）
  • Colab - BERT.ipynb

依赖项

• Python 3.5+
• Pytorch 1.0.0+

作者

• 郑泰焕（Jeff Jung）@graykode
• 作者邮箱：nlkey2022@gmail.com
• 感谢 mojitok 在 NLP 研究实习期间的支持。

nlp-tutorial 快速上手指南

nlp-tutorial 是一个基于 PyTorch 的自然语言处理（NLP）学习教程。该项目的核心特点是代码精简，大多数经典 NLP 模型的实现均控制在 100 行代码以内（不含注释和空行），非常适合初学者理解模型底层原理。

注意：旧版 TensorFlow v1 代码已归档至 archive 文件夹。本项目仅支持 PyTorch 1.0 及以上版本，以确保代码的可读性和现代性。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows / macOS / Linux
• Python 版本：3.5 或更高版本
• 深度学习框架：PyTorch 1.0.0 或更高版本

安装步骤

1. 克隆项目仓库

使用 Git 将项目代码下载到本地：

git clone https://github.com/graykode/nlp-tutorial.git
cd nlp-tutorial

2. 安装依赖

建议先创建并激活一个虚拟环境，然后安装 PyTorch。

安装 PyTorch： 请访问 PyTorch 官网 获取适合您系统的安装命令。例如，使用 pip 安装 CPU 版本的 PyTorch：

pip install torch torchvision torchaudio

(注：本教程主要依赖 PyTorch 基础库，其他常见数据处理库如 numpy、matplotlib 等通常随 PyTorch 自动安装或需根据具体 Notebook 需求另行安装)

基本使用

本教程以 Jupyter Notebook (.ipynb) 形式组织，每个模型对应一个独立的 Notebook 文件。您可以直接在 Google Colab 上运行，也可以在本地启动 Jupyter 服务进行学习和调试。

方式一：本地运行

1. 安装 Jupyter Notebook：

   pip install jupyter
   

2. 启动 Jupyter 服务：

   jupyter notebook
   

3. 在浏览器中打开任意模型目录下的 .ipynb 文件即可开始学习。例如，进入 1-1.NNLM 文件夹并打开 NNLM.ipynb。

方式二：Google Colab 在线运行（推荐）

如果您不想配置本地环境，可以直接点击各章节提供的 Colab 链接在线运行代码。以下是最基础的入门示例路径：

示例 1：基础嵌入模型 - NNLM

• 目标：预测下一个单词
• 论文：A Neural Probabilistic Language Model (2003)
• 运行：打开 NNLM.ipynb in Colab

示例 2：词向量 - Word2Vec (Skip-gram)

• 目标：词嵌入并可视化展示
• 论文：Distributed Representations of Words and Phrases (2013)
• 运行：打开 Word2Vec.ipynb in Colab

示例 3：Transformer 模型

• 目标：机器翻译
• 论文：Attention Is All You Need (2017)
• 运行：打开 Transformer.ipynb in Colab

学习路线建议

建议按照以下顺序逐步深入：

1. Basic Embedding Model: 理解词向量的基本概念 (NNLM, Word2Vec, FastText)。
2. CNN: 学习卷积神经网络在文本分类中的应用 (TextCNN)。
3. RNN: 掌握循环神经网络及其变体 (TextRNN, TextLSTM, Bi-LSTM)。
4. Attention Mechanism: 理解注意力机制及其在序列到序列模型中的作用 (Seq2Seq, Attention)。
5. Transformer & BERT: 深入学习当前主流的预训练模型架构 (The Transformer, BERT)。