目录：

1. Torch 张量库简介
2. 计算图与自动微分
3. 深度学习构建模块：仿射变换、非线性激活函数和损失函数
4. 优化与训练
5. 在 PyTorch 中创建网络组件

• 示例：基于词袋模型的逻辑回归文本分类器

6. 词嵌入：编码词汇语义

• 示例：N-gram 语言建模
• 练习：连续词袋模型用于学习词嵌入

7. 序列建模与长短期记忆网络

• 示例：用于词性标注的 LSTM
• 练习：在 LSTM 词性标注器中加入字符级特征

8. 高级内容：动态工具包、动态规划以及双向 LSTM-CRF

• 示例：用于命名实体识别的双向 LSTM 条件随机场
• 练习：一种用于判别式标注的新损失函数

这个教程是关于什么的？

我编写这个教程的原因在于，尽管市面上已有大量其他教程，但它们似乎都存在以下三种问题之一：

• 它们的内容过多地集中在计算机视觉和卷积神经网络上，这对于大多数自然语言处理任务来说并不相关（尽管卷积神经网络已被以有趣的方式应用于 NLP 问题）。
• PyTorch 是一个相对较新的框架，因此许多关于 NLP 的深度学习教程仍然使用较旧的框架，而且通常不是像 PyTorch 这样的动态框架——这类框架有着完全不同的风格。
• 示例往往局限于 RNN 语言模型，未能展示在进行语言结构预测时所能实现的精彩应用。我认为这是一个问题，因为 PyTorch 的动态计算图使其在结构预测方面具有显著优势。

具体而言，我为佐治亚理工学院的一门自然语言处理课程编写了这个教程，旨在帮助学生更好地理解我为该课程设计的一个关于深度转换分析的练习题集。该题集涉及一些高级技术，而本教程的目的是覆盖基础知识，以便学生能够专注于题集中的更具挑战性的部分。

教程的总体目标是从基础开始，逐步过渡到语言结构预测这一主题，而我认为这正是目前其他 PyTorch 教程中几乎完全缺失的内容。对于一般的深度学习基础知识，讲解较为简短；而对于更偏向 NLP 的主题，则进行了更为深入的探讨。当然，在我觉得详细描述会显得冗余或占用过多篇幅的情况下，我也参考了其他资料。

依存句法分析练习题集

如上所述，这里就是那个通过在 PyTorch 中实现高性能依存句法分析器的练习题集。我想在此附上链接，因为它可能会对您有所帮助，当然前提是忽略其中与课程相关的特定内容。

几点说明：

• 该题集包含大量代码，因此前半部分主要是为了让同学们熟悉我的代码如何表示相关数据，以及需要使用的接口。题集的其余部分则真正涉及解析器各个组件的实现。由于我们之前并未在课程中接触过深度学习，我在编写时尽可能添加了大量的注释和提示。
• 每个提交任务都有相应的单元测试，可以使用 nosetests 运行。
• 由于该题集将在课堂上使用，请勿公开发布解决方案。
• 同一仓库中还包含一些笔记，其中有一节专门介绍移进-归约依存句法分析，如果您希望找到一份书面资料来补充该题集，可以参考这部分内容。
• 如果在新学期开始时该链接被移除，可能就无法访问了。

参考文献：

• 我在 2016 年 EMNLP 大会上从 Chris Dyer 和 CMU 的 Graham Neubig 以及 Bar Ilan 大学的 Yoav Goldberg 主讲的 Dynet 教程中，学到了很多关于深度结构预测的知识。Dynet 是一个非常优秀的工具包，尤其适合那些希望使用 C++ 并避免动态类型的语言的人。最终的 BiLSTM CRF 练习以及字符级特征练习，都是我从那次教程中学到的内容。
• 关于结构预测的一本优秀书籍是 Noah Smith 的《Linguistic Structure Prediction》。虽然这本书没有涉及深度学习，但这并无大碍。
• 我所知的最佳深度学习书籍是《Deep Learning》，由该领域的多位重要贡献者撰写，内容非常全面，尽管它并非专注于 NLP。这本书可以在网上免费阅读，但也值得拥有一本放在书架上。

练习：

教程中包含几项练习，要么是实现一个流行的模型（CBOW），要么是对我的某个模型进行扩展。尤其是字符级特征的练习，难度较大，但非常实用（我无法提供确切的数据，不过我曾经做过实验，通常加入字符级特征后，准确率能提高 2% 到 3%）。由于这些练习并不简单，我计划不久后亲自完成它们，并将其添加到仓库中。

建议：

如果您发现任何错误，或者认为有必要添加某个特定的模型，请在 GitHub 上提交一个问题。

DeepLearningForNLPInPytorch 快速上手指南

本教程专为自然语言处理（NLP）开发者设计，重点讲解如何利用 PyTorch 的动态图特性进行序列建模和语言结构预测（如 POS 标注、命名实体识别等），弥补了现有教程多侧重于计算机视觉或静态图的不足。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 及以上版本
• 前置知识：具备基础的深度学习概念（如反向传播、损失函数）及 Python 编程能力
• 核心依赖：
  • pytorch (最新版本)
  • numpy
  • 可选：nltk (用于部分 NLP 数据预处理示例)

国内加速建议： 推荐使用清华或中科大镜像源安装 Python 包，以提升下载速度。

• 清华镜像：https://pypi.tuna.tsinghua.edu.cn/simple
• 中科大镜像：https://pypi.mirrors.ustc.edu.cn/simple/

安装步骤

1. 创建虚拟环境（推荐）

python -m venv nlp_torch_env
source nlp_torch_env/bin/activate  # Windows 用户请使用: nlp_torch_env\Scripts\activate

2. 安装 PyTorch

访问 PyTorch 官网 获取适合您 CUDA 版本的命令。若无 GPU，可使用 CPU 版本。 使用清华镜像安装示例：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：如有 NVIDIA GPU，请将 --index-url 对应的地址替换为含 cuXX 的版本)

3. 安装其他依赖

pip install numpy nltk -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 获取教程代码

克隆官方仓库以获取完整的教程笔记和练习代码：

git clone https://github.com/jacobeisenstein/gt-nlp-class.git
cd gt-nlp-class

注意：本教程的核心内容通常位于该仓库的 notes 目录或相关的 Jupyter Notebook 文件中。

基本使用

本教程的核心在于通过代码实例理解从基础张量操作到复杂结构预测模型的构建。以下是一个最简单的入门示例，演示如何定义一个基础的词袋模型（Bag-of-Words）逻辑回归分类器，对应教程第 5 章内容。

示例：逻辑回归文本分类器

此示例展示了如何构建计算图、定义仿射映射和非线性激活函数。

import torch
import torch.nn as nn
import torch.nn.functional as F

# 假设词汇表大小为 1000，类别数为 2 (例如：正面/负面)
vocab_size = 1000
num_labels = 2

# 1. 定义模型组件
# affine map: y = Wx + b
linear_layer = nn.Linear(vocab_size, num_labels)

# 2. 准备输入数据 (模拟一个 batch size 为 1 的词袋向量)
# 在实际应用中，这里会将文本转换为 one-hot 或计数向量
bow_vector = torch.zeros(1, vocab_size)
bow_vector[0, 5] = 1.0  # 假设索引 5 的词出现了一次
bow_vector[0, 89] = 2.0 # 假设索引 89 的词出现了两次

# 3. 前向传播
logits = linear_layer(bow_vector)

# 4. 计算概率分布 (Softmax)
probabilities = F.softmax(logits, dim=1)

print("Logits:", logits)
print("Probabilities:", probabilities)

进阶学习路径

按照教程目录顺序，您可以逐步深入：

1. 基础：熟悉 Torch 的 Tensor 库和自动微分机制。
2. 核心组件：学习仿射映射、非线性激活及目标函数。
3. 词嵌入：实现 N-Gram 语言模型和 CBOW (Continuous Bag-of-Words) 来学习词向量。
4. 序列建模：掌握 LSTM 网络，完成词性标注（POS Tagging）任务。
5. 高级应用：探索动态工具包，实现 BiLSTM-CRF 模型用于命名实体识别（NER）。

对于希望挑战高阶任务的用户，可参考仓库中的 psets/ps4 目录，尝试实现基于深度学习的依存句法分析器（Dependency Parser）。