自然语言处理的深度学习资源

用于机器翻译、图像字幕生成和对话等序列建模任务的最先进资源。

我对神经网络、RNN、LSTM 的笔记

深度学习与自然语言处理

斯坦福 CS 224D：深度学习与自然语言处理课程
Richard Socher。该课程包含教学大纲和幻灯片。
视频：2017 年讲座
CS224N 2019 年冬季讲座

牛津大学深度学习与自然语言处理课程
Phil Blunsom。（2017 年）由 Deep Mind NLP 团队开设的课程。
讲座幻灯片、视频和实践课：GitHub 仓库
2017 年视频

A Primer on Neural Network Models for Natural Language Processing
Yoav Goldberg。2015 年 9 月提交，2016 年 11 月发表。这是一份长达 75 页的最新进展综述。

词向量

关于词向量（又称词嵌入）以及单词分布式表示的资源。
词向量是用数值来表示单词的方式，相似的单词在向量空间中也彼此接近。词向量通常被用作深度学习系统的输入，这一过程有时被称为预训练。

A neural probabilistic language model.
Bengio 2003 年。关于词向量的开创性论文。

---

Efficient Estimation of Word Representations in Vector Space
Mikolov 等人 2013 年。Word2Vec 通过尝试从语料库中预测单词，以无监督方式生成词向量。文中介绍了连续词袋模型（CBOW）和连续跳字模型（Skip-gram），用于学习词向量。
Skip-gram 以中心词为输入，预测周围的上下文词；它更适合大型数据集。
CBOW 则以周围的上下文词为输入，预测中心词；它更适合小型数据集。

Distributed Representations of Words and Phrases and their Compositionality
Mikolov 等人 2013 年。该研究学习了诸如“New York Times”之类的短语的向量表示。还包括对 Skip-gram 模型的优化：层次化 Softmax 和负采样，并对高频词进行子采样。（即定期跳过像“the”这样的高频词，以加快计算速度并提升低频词的向量质量）

Linguistic Regularities in Continuous Space Word Representations
Mikolov 等人 2013 年。该方法在单词相似性和类比任务上表现优异。扩展了著名的例子：King – Man + Woman = Queen
Word2Vec 源代码
TensorFlow 中的 Word2Vec 教程

word2vec 参数学习详解
Rong 2014 年

解释 Word2Vec 的文章：深度学习、NLP 和表示 和
词向量的惊人力量

---

GloVe: Global vectors for word representation
Pennington、Socher、Manning。2014 年。该方法创建词向量，并将 Word2Vec 与矩阵分解联系起来。其评估部分引发了争议，Yoav Goldberg 对此进行了评论。
GloVe 源代码和训练数据

---

Enriching Word Vectors with Subword Information
Bojanowski、Grave、Joulin、Mikolov 2016 年
FastText 代码

Advances in Pre-Training Distributed Word Representations
T. Mikolov、E. Grave、P. Bojanowski、C. Puhrsch、A. Joulin 2017 年
FastText 库 包括 英语词向量

情感分析

句子向量是句子、段落和文档的数值化表示。这一概念被广泛应用于多种文本分类任务，例如情感分析。

基于情感树库的语义组合性递归深度模型
Socher 等人，2013年。提出了递归神经张量网络及数据集“情感树库”。附有演示网站。该方法使用句法解析树。

句子与文档的分布式表示
Le 和 Mikolov，2014年。提出了段落向量模型。通过拼接和平均预训练的固定词向量来生成句子、段落和文档的向量表示，也称为 paragraph2vec。该方法不使用句法解析树。

已在Gensim中实现。参见doc2vec 教程。

用于语言组合性的深度递归神经网络
Irsoy 和 Cardie，2014年。采用深度递归神经网络，并使用句法解析树。

基于树结构长短期记忆网络的改进语义表示
Tai 等人，2015年。提出了树状 LSTM 模型，并使用句法解析树。

半监督序列学习
Dai 和 Le，2015年。
方法：“我们提出了两种利用未标注数据来提升循环网络序列学习效果的方法。第一种方法是预测序列中的下一个元素，这在自然语言处理中即为传统的语言模型。第二种方法则是使用序列自编码器……”
结果：“通过预训练，我们能够训练长达数百个时间步的长短期记忆循环网络，从而在许多文本分类任务中取得优异性能，例如 IMDB、DBpedia 和 20 Newsgroups 数据集。”

高效文本分类技巧集
Joulin、Grave、Bojanowski、Mikolov，2016年，Facebook AI Research。
“我们的实验表明，我们的快速文本分类器 fastText 在准确率上往往与深度学习分类器不相上下，而在训练和评估速度上则快出多个数量级。”
FastText 博客
FastText 代码

神经机器翻译

2014年，神经机器翻译（NMT）的性能已可与当时最先进的统计机器翻译（SMT）相媲美。

使用RNN编码器-解码器学习短语表示以进行统计机器翻译 (摘要)
Cho等人，2014年。这是一篇关于机器翻译的深度学习突破性论文。文中介绍了基本的序列到序列模型，该模型包含两个RNN，一个用于输入的编码器和一个用于输出的解码器。

通过联合学习对齐与翻译实现神经机器翻译 (摘要)
Bahdanau、Cho、Bengio，2014年。
实现了注意力机制。“每次提出的模型在翻译中生成一个词时，它都会（软）搜索源句子中集中了最相关信息的一组位置。”
结果：“在英法翻译任务上，其性能可与现有的基于短语的最先进系统相媲美。”
英法演示

关于在神经机器翻译中使用超大目标词汇表
Jean、Cho、Memisevic、Bengio，2014年。
“我们尝试用对齐的源词或由另一个词对齐模型确定的最可能译文来替换每个[UNK]标记。”
结果：英语→德语BLEU分数=21.59（目标词汇表为50,000）

使用神经网络进行序列到序列学习
Sutskever、Vinyals、Le，2014年。(NIPS演讲)。采用序列到序列模型生成翻译。
结果：英语→法语BLEU分数=34.8（WMT’14数据集）
一个重要贡献是通过反转源句子所带来的改进。
TensorFlow中的seq2seq教程。

解决神经机器翻译中的罕见词问题 (摘要)
Luong、Sutskever、Le、Vinyals、Zaremba，2014年
用词典查表替换UNK词。
结果：英语→法语BLEU分数=37.5。

基于注意力的神经机器翻译的有效方法
Luong、Pham、Manning，2015年
两种注意力模型：全局和局部。
结果：英语→德语BLEU分数为25.9

用于神经机器翻译的上下文相关词表示
Choi、Cho、Bengio，2016年
“我们建议使用源句子的非线性词袋表示来使词嵌入向量具有上下文相关性。”
“我们建议用类型化的符号来表示特殊标记（如数字、专有名词和缩写），以方便翻译那些不适合用连续向量表示的词语。”

谷歌的神经机器翻译系统：弥合人与机器翻译之间的差距
Wu等人，2016年
博客文章
“在WMT’14英法翻译任务中，我们的单模型BLEU分数达到38.95。”
“在WMT’14英德翻译任务中，我们的单模型BLEU分数达到24.17。”

谷歌的多语言神经机器翻译系统：实现零样本翻译
Johnson等人，2016年
博客文章
可在未训练的语言对之间进行翻译。

谷歌已开始将其生产系统逐步部署NMT，并且这是一项重大改进。

卷积序列到序列学习
Gehring等人，2017年，Facebook AI研究 博客文章
架构：卷积序列到序列。ConvS2s。
结果：“我们在WMT'14英德和英法翻译任务上，以比Wu等人（2016年）的深层LSTM设置快一个数量级的速度，超越了其准确率，无论是在GPU还是CPU上。”
Facebook正完全过渡到神经机器翻译。

Transformer：一种用于语言理解的新式神经网络架构
架构：Transformer，这是谷歌在Attention is all you need中提出的一种T2T模型。
结果：“我们证明，Transformer在学术性的英德和英法翻译基准测试中，均优于循环和卷积模型。”
T2T源代码
T2T博客文章

通用Transformer
2018年8月15日，谷歌将BLEU分数提高了1点，并将通用Transformer应用于翻译以外的其他领域。

DeepL Translator声称其性能优于竞争对手，但并未公开其架构。 “目前暂不公布我们网络架构的具体细节。DeepL Translator基于单一的非集成模型。”

对话建模 / 会话

用于短文本对话的神经响应机
Shang 等人，2015年。使用神经响应机模型，在微博数据集上训练。在单轮对话中，能够生成75%合适的回复。

基于神经网络的上下文敏感对话回复生成方法
Sordoni 等人，2015年。用于生成推文回复。
采用Mikolov 等人（2010）提出的循环神经网络语言模型（RLM）架构。源代码：RNNLM 工具包。

利用生成式层次化神经网络模型构建端到端对话系统
Serban、Sordoni、Bengio 等人，2015年。扩展了层次递归编码器-解码器神经网络（HRED）。

带有意图注意力的神经网络对话模型
Yao 等人，2015年。该架构包含三个循环网络：编码器、意图网络和解码器。

用于生成对话的层次化潜在变量编码器-解码器模型
Serban、Sordoni、Lowe、Charlin、Pineau、Courville、Bengio，2016年。提出了一种新颖的架构：VHRED，即潜在变量层次递归编码器-解码器。与 LSTM 和 HRED 相比表现更优。

---

神经对话模型
Vinyals、Le 2015年。使用 LSTM 循环神经网络生成对话回复。采用 seq2seq 框架。Seq2Seq 最初是为机器翻译设计的，它将一段最多约79个词的句子“翻译”成一句回复，且无法记住之前的对话内容。该技术被应用于谷歌 Inbox 的智能回复功能。

序列到序列学习中引入复制机制
Gu 等人，2016年。提出了 CopyNet 模型，并在此基础上改进了 seq2seq。

基于人格特征的神经对话模型
Li 等人，2016年。提出基于人格特征的模型，以解决神经网络生成回复时说话者一致性的问题。该模型建立在 seq2seq 基础之上。

用于对话生成的深度强化学习
Li 等人，2016年。利用强化学习生成多样化的回复。训练两个智能体相互对话。基于 seq2seq 架构。

用于神经对话生成的对抗学习
Li 等人，2017年。
“我们将这项任务视为一个强化学习问题，联合训练两个系统：一个生成模型用于产生回复序列，另一个判别器——类似于图灵测试中的人类评估者——用来区分人类生成的对话和机器生成的对话。判别器的输出随后被用作生成模型的奖励。”
他们使用 REINFORCE 算法（Williams，1992）。并通过“每步奖励生成”（REGS）进一步优化，该方法将回复分解为单个词语并分别给予奖励，而非仅给出一个整体分数。此外，他们还使用“教师强制”来稳定 GAN 模型，通过提供正确的人类回复来训练错误的示例。回复的最小词数为5个。
附有源代码。
论文讲解视频。

---

聊天机器人的深度学习应用
文章总结了2016年的最新进展及聊天机器人面临的挑战。
聊天机器人的深度学习应用·第2部分
基于 Ubuntu 数据集，使用 TensorFlow 实现了一个基于检索的对话代理，采用双编码器 LSTM 模型[论文]。附有源代码。

聊天机器人及相关研究论文笔记与图片

神经对话论文列表 - 一份关于使用深度网络构建对话系统的论文清单。

语言建模

研究人员一直在训练规模越来越大的语言模型，并将其用于其他任务的迁移学习，例如 Google 的 Bert、fast.ai 的 ULMFit等。

更好的语言模型及其影响 2019年2月14日，OpenAI 部分发布了大型语言模型 GPT-2。

记忆与注意力模型

注意力机制使网络能够回溯到输入序列，而不必将所有信息编码成一个固定长度的向量。 - 深度学习与自然语言处理中的注意力与记忆

记忆网络 西斯顿等人，2014年；以及 端到端记忆网络 苏克巴塔尔等人，2015年。记忆网络已在 MemNN 中实现。这些模型尝试解决涉及推理、注意力和记忆的任务。
Towards AI-Complete Question Answering: A Set of Prerequisite Toy Tasks
西斯顿，2015年。该论文对问答任务进行了分类，如单一事实型、是/否型等，并扩展了记忆网络。
Evaluating prerequisite qualities for learning end to end dialog systems
多奇等人，2015年。该研究在包括Reddit对话任务在内的4项任务上测试了记忆网络。
参见 杰森·西斯顿关于MemNN的讲座

神经图灵机
格雷夫斯、韦恩、丹尼尔卡，2014年。
我们通过将神经网络与外部记忆资源相结合，赋予其通过注意力机制与外部记忆交互的能力，从而扩展了神经网络的功能。这种组合系统类似于图灵机或冯·诺依曼架构，但它是可微分的端到端模型，因此可以使用梯度下降法高效地进行训练。初步结果表明，神经图灵机能够从输入输出示例中推断出简单的算法，例如复制、排序和联想式回忆。
奥拉和卡特关于NTM的博客

利用堆栈增强的循环网络推断算法模式
朱林、米科洛夫，2015年。堆栈RNN源代码 和 博客文章

DL4NLP 快速上手指南

注意：DL4NLP 并非一个可安装的单一软件包或库，而是一个由 Andrew Trask 维护的深度学习与自然语言处理（NLP）资源汇总清单。它包含了顶尖的课程、经典论文、开源代码库（如 Word2Vec, FastText, Transformer）及教程链接。

本指南将指导你如何利用该清单中的核心资源，快速搭建开发环境并运行经典的 NLP 模型。

1. 环境准备

由于清单中的资源多基于 Python 生态（特别是 TensorFlow, PyTorch, Gensim, FastText），建议按以下标准配置环境：

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (需 WSL2)
• Python 版本: 3.8 - 3.10 (兼容性最佳)
• 硬件要求:
  • 基础学习：任意现代 CPU
  • 训练模型（如 NMT, Transformer）：推荐 NVIDIA GPU (显存 8GB+) 及 CUDA 驱动
• 前置依赖管理: 推荐使用 conda 或 venv 隔离环境。

2. 安装步骤

由于 DL4NLP 是资源列表，你需要根据想学习的模块安装对应的工具库。以下是覆盖清单中大部分内容（Word Vectors, Sentiment Analysis, Seq2Seq）的核心库安装命令。

2.1 创建虚拟环境

python -m venv dl4nlp-env
source dl4nlp-env/bin/activate  # Windows 使用: dl4nlp-env\Scripts\activate

2.2 安装核心深度学习框架

国内开发者建议使用清华源或阿里源加速安装：

# 安装 PyTorch (推荐用于复现 Transformer, LSTM 等最新架构)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 或者安装 TensorFlow (清单中部分旧教程基于 TF)
pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 安装 NLP 专用库

对应清单中的 Word2Vec, GloVe, FastText 及数据处理工具：

# Gensim (包含 Word2Vec, Doc2Vec 实现)
pip install gensim -i https://pypi.tuna.tsinghua.edu.cn/simple

# FastText (Facebook AI Research, 用于高效文本分类和词向量)
pip install fasttext -i https://pypi.tuna.tsinghua.edu.cn/simple

# 其他辅助工具 (Jupyter, 可视化等)
pip install jupyterlab matplotlib scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：若需运行清单中提到的 Stanford CS224D 或 Oxford 课程的具体代码，请前往其对应的 GitHub 仓库（如 oxford-cs-deepnlp-2017）克隆项目并安装其特定的 requirements.txt。

3. 基本使用

以下示例演示如何使用清单中推荐的 Gensim 库复现经典的 Word2Vec (Skip-gram/CBOW) 模型，这是进入深度学习 NLP 的第一步。

3.1 准备数据

创建一个名为 demo_word2vec.py 的文件：

from gensim.models import Word2Vec
from gensim.utils import simple_preprocess

# 1. 准备简单的语料库 (模拟清单中提到的预处理步骤)
corpus = [
    "Deep learning is great for natural language processing",
    "Word vectors represent words as numeric vectors",
    "Neural machine translation uses sequence to sequence models",
    "Attention mechanisms improve translation quality"
]

# 2. 分词预处理
tokenized_corpus = [simple_preprocess(sentence) for sentence in corpus]

# 3. 训练 Word2Vec 模型
# vector_size: 向量维度 (常见 100, 300)
# window: 上下文窗口大小
# min_count: 忽略频率低于此值的词
# sg: 1 表示 Skip-gram, 0 表示 CBOW (参考 Mikolov 2013 论文)
model = Word2Vec(
    sentences=tokenized_corpus,
    vector_size=100,
    window=5,
    min_count=1,
    workers=4,
    sg=1 
)

# 4. 使用模型
word_vector = model.wv['learning']
print(f"Vector for 'learning': {word_vector[:5]}...") # 打印前 5 个维度

# 5. 查找相似词 (类比推理的基础)
similar_words = model.wv.most_similar('deep', topn=2)
print(f"Words similar to 'deep': {similar_words}")

# 6. 保存模型
model.save("word2vec_dl4nlp.model")

3.2 运行示例

在终端执行：

python demo_word2vec.py

3.3 进阶资源指引

根据 DL4NLP 清单，完成上述基础后，你可进一步探索：

• 情感分析: 使用 gensim 实现 Doc2Vec，或调用 FastText 进行文本分类。
• 机器翻译: 参考清单中的 TensorFlow Seq2Seq Tutorial 或 PyTorch Transformer 实现，复现 Encoder-Decoder 架构。
• 课程学习: 访问清单中的 Stanford CS224N 视频链接获取系统性知识。