自然语言处理（NLP）中的优秀深度学习资源

目录

• 课程
• 书籍
• 教程
• 演讲/讲座
• 框架/模型
• 论文
• 博客文章
• 数据集
• 词嵌入/词向量
• 贡献

课程

1. 斯坦福大学深度学习与自然语言处理课程 / CS224N（2019年冬季）
   • 课程主页 本课程提供了该领域的全面概述，包含视频、讲义以及学生项目示例。
   • 课程视频 视频播放列表。
   • 往期课程笔记 或许是关于NLP深度学习的最佳“教材”。
   • 课程代码 包含CS224N中各种深度NLP模型的PyTorch实现。
2. 卡内基梅隆大学的NLP神经网络课程
   • 课程主页
   • 课程视频
   • 课程代码
3. 牛津大学与DeepMind联合开设的自然语言处理深度学习课程
   • 课程主页
   • 课程幻灯片
   • 课程视频

书籍

1. 用文本进行深度学习：几乎从零开始的自然语言处理——Python与spaCy，作者：帕特里克·哈里森和马修·霍尼巴尔
2. 自然语言处理中的神经网络方法，作者：约阿夫·戈德堡和格雷厄姆·赫斯特
3. 自然语言处理中的深度学习，作者：邓莉和刘洋
4. 人工智能背后的数学：AI基础指南【完整书籍】——一本免费书籍，以通俗易懂的英语解释并结合Python代码示例讲解AI背后的数学原理
5. 实战自然语言处理，作者：霍布森·莱恩、科尔·霍华德和汉内斯·哈普克
6. The LazyProgrammer所著的《Python中的自然语言处理深度学习》（仅限Kindle版）
   1. Python与Theano中的Word2Vec及词嵌入
   2. Python与Theano中从Word2Vec到GLoVe
   3. 递归神经网络：Theano中的递归神经（张量）网络
7. Python应用自然语言处理，作者：塔韦·贝索洛夫二世
8. 深度学习烹饪书，作者：杜威·奥辛加
9. 自然语言处理深度学习：使用Python构建神经网络，作者：帕拉什·戈亚尔、苏米特·潘迪和卡兰·贾因
10. 文本的机器学习，作者：查鲁·C·阿加瓦尔
11. TensorFlow自然语言处理，作者：图山·加内格达拉
12. fastText快速入门指南：开始使用Facebook的文本表示与分类库
13. 动手实践Python自然语言处理
14. 实战自然语言处理，第二版，作者：霍布森·莱恩和玛丽亚·迪谢尔
15. 实战自然语言处理入门，作者：叶卡捷琳娜·科奇马尔
16. 实战自然语言处理深度学习，作者：斯蒂芬·拉伊马克尔斯

教程

1. 谷歌文本分类指南
2. 使用PyTorch进行NLP深度学习

讲座

1. 自然语言处理中的深度学习（无需魔法）
2. 自然语言处理神经网络模型入门
3. 自然语言处理中的深度学习：理论与实践（教程）
4. TensorFlow 教程
5. 使用 DyNet 框架的 EMNLP 2016 实践性 NLP 神经网络教程
6. 带有词嵌入的循环神经网络
7. 用于情感分析的 LSTM 网络
8. 使用大型电影评论数据集的 TensorFlow 演示
9. LSTMVis：针对循环神经网络的可视化分析
10. 来自 PyData 阿姆斯特丹 2017 的 Rob Romijnders 关于在自然语言处理中使用深度学习的演讲
    • 视频
    • 幻灯片
11. Richard Socher 关于情感分析、问答和句子-图像嵌入的演讲
12. 深度学习：面向 NLP 从业者的互动式入门
13. 深度自然语言理解
14. 2016 年蒙特利尔深度学习暑期学校 包括最先进的语言建模。
15. Richard Socher 的“应对深度学习在 NLP 中的局限性”演讲
    • 视频
    • 幻灯片

框架

1. NLP 领域的深度学习框架概述

2. 通用框架

   1. Keras - Python 深度学习库 强调用户友好性、模块化、易于扩展以及 Python 式的设计。
   2. TensorFlow - 跨平台、通用的机器智能库，提供 Python 和 C++ API。
   3. PyTorch - PyTorch 是一个以 Python 为先的深度学习框架。“在 Python 中实现张量和动态神经网络，并具有强大的 GPU 加速功能。”

3. 特定框架

   1. SpaCy - 专为速度、高效完成任务而设计的 Python 包，可与其他深度学习框架互操作。
   2. Genism：面向人类的主题建模 - 一个包含 word2vec 和 doc2vec 实现的 Python 包。
   3. fasttext Facebook 开发的快速文本表示与分类库。
   4. 基于 TensorFlow 构建
      1. SyntaxNet - 用于自然语言理解（NLU）的工具包。
      2. textsum - 一种带有注意力机制的序列到序列文本摘要模型。
      3. Skip-Thought Vectors 的 TensorFlow 实现。
      4. ActiveQA：主动问答 - 利用强化学习训练人工代理进行问答。
      5. BERT - 基于 Transformer 的双向编码器表示预训练模型。
   5. 基于 PyTorch 构建
      1. PyText - Facebook 开发的基于深度学习的 NLP 建模框架。
      2. AllenNLP - 一个开源的 NLP 研究库。
      3. Flair - 一个非常简单的框架，用于实现最先进的 NLP 技术。
      4. fairseq - 一个序列到序列工具包。
      5. fastai - 通过现代最佳实践简化快速且准确的神经网络训练。
      6. Transformer 模型 - 注释版笔记本实现。
   6. Deeplearning4j 的 NLP 框架 - Java 实现。
   7. DyNet - 动态神经网络工具包 “非常适合处理每轮训练都会变化的动态结构网络”。
   8. deepnl - 一个基于深度学习神经网络架构的 Python NLP 库。

论文

1. 深度还是浅层，NLP正迎来爆发 - 深度学习如何影响自然语言处理的总体概述。
2. 谷歌研究中的自然语言处理 - 并非全部基于深度学习，但大部分是。
3. 上下文相关的循环神经网络语言模型
4. 基于双向循环神经网络的翻译建模
5. 用于大规模NLP任务的上下文LSTM（CLSTM）模型
6. 用于语言建模的LSTM神经网络
7. 探索语言建模的极限
8. 对话中的上下文线索 - 对话中的上下文和参与者进行建模。
9. 基于神经网络的序列到序列学习
10. 向量空间中词表示的有效估计
11. 学习词级表示以进行词性标注
12. 文本级话语解析的表示学习
13. 用于统计机器翻译的高效稳健的神经网络联合模型
14. 使用组合向量文法进行句法分析
15. 智能回复：电子邮件自动回复建议
16. 命名实体识别的神经架构 - 使用双向LSTM结合顺序条件随机场层以及基于栈的LSTM转换解析，在NER任务上达到最先进水平。
17. 语法作为一门外语 - 采用通用的序列到序列方法实现最先进的句法成分解析。

博客文章

1. 自然语言处理（NLP）进展 跟踪最常见的NLP任务，包括数据集和当前最先进水平。
2. 自然语言处理近期历史回顾
3. 深度学习、NLP与表示
4. 循环神经网络的不可思议有效性
5. 从零开始的神经语言建模
6. 机器学习在表情符号趋势中的应用
7. 教机器人感受：表情符号与深度学习
8. 计算语言学与深度学习 - 关于深度学习如何融入更广泛的文本处理领域的评论文章。
9. 深度学习NLP最佳实践
10. 自然语言处理的7种人工神经网络
11. 如何解决90%的NLP问题：分步指南
12. 深度学习在自然语言处理中的7大应用

数据集

1. “十亿词语言建模基准”数据集 - 接近10亿词，已预处理过的文本。
2. 斯坦福情感树库 - 为11,855个句子的句法树中的215,154个短语提供细粒度的情感标签。
3. Kaggle上的聊天机器人数据
4. 按字母顺序排列的免费/公共领域文本数据集列表
5. 按时间倒序排列的另一份免费/公共领域文本数据集列表
6. 问答数据集
   1. Quora的问题对数据集 - 用于识别具有相同意图的问题对。
   2. 卡内基梅隆大学的维基百科事实型问答数据
   3. DeepMind的代数问题解答
   4. DeepMind来自CNN和DailyMail的问答数据
   5. 微软的WikiQA开放域问答数据
   6. 斯坦福问答数据集（SQuAD） - 涵盖阅读理解。

词嵌入及相关内容

1. 来自《The Morning Paper》博客的词向量的惊人力量
2. 单词与短语的分布式表示及其组合性 - 原始的word2vec论文。
3. word2vec参数学习详解 对word2vec训练过程的深入解释
4. 2017年的词嵌入：趋势与未来方向
5. 为157种语言学习词向量
6. GloVe：用于词表示的全局向量 - 一种基于计数/共现的模型，用于学习词嵌入。
7. Doc2Vec
   • Doc2Vec简明介绍
   • 句子与文档的分布式表示
8. 来自《The Morning Paper》博客的用于动态语义发现的动态词嵌入
9. Ali Ghodsi关于word2vec的讲座：
   • 第一部分
   • 第二部分
10. word2vec类比演示
11. TensorFlow词向量投影仪
12. Skip-Thought向量 - “无监督学习通用的分布式句子编码器”
    • 论文
    • 代码

---

贡献

你有没有什么觉得很棒、适合加入本列表的内容？欢迎随时向我提交拉取请求！

---

许可

在法律允许的最大范围内，Brian J. Spiering博士已放弃本作品的所有版权及相关或邻接权利。

awesome-dl4nlp 快速上手指南

awesome-dl4nlp 并非一个可直接安装的单一软件库，而是一个精选的深度学习与自然语言处理（NLP）资源清单。它汇集了课程、书籍、教程、框架、论文和数据集。

本指南将指导你如何利用该清单中的核心资源，快速搭建开发环境并运行第一个深度学习 NLP 项目。

环境准备

在开始之前，请确保你的系统满足以下要求。由于清单中大多数代码示例基于 Python 和主流深度学习框架（如 PyTorch 或 TensorFlow），建议按以下标准配置环境。

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议使用 WSL2)
• 硬件: 推荐使用带有 CUDA 支持的 NVIDIA GPU（显存 8GB+ 为佳），用于加速模型训练。若无 GPU，CPU 亦可运行小型示例。
• Python 版本: 3.8 - 3.10

前置依赖

你需要安装 Python 包管理工具及基础科学计算库。

# 检查 Python 版本
python3 --version

# 安装 pip (如果尚未安装)
sudo apt-get install python3-pip  # Linux
brew install python               # macOS

# 推荐创建虚拟环境 (使用 venv 或 conda)
python3 -m venv dl4nlp_env
source dl4nlp_env/bin/activate    # Windows 用户使用: dl4nlp_env\Scripts\activate

安装步骤

由于 awesome-dl4nlp 是资源列表，我们选择清单中推荐的 PyTorch 框架配合 Hugging Face Transformers（现代 NLP 事实标准，源自清单中的 BERT/Transformer 部分）作为入门起点。

1. 配置国内镜像源（加速下载）

为避免网络延迟，建议将 pip 源切换至清华大学或阿里云镜像。

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装核心深度学习框架

根据清单推荐，安装 PyTorch 及相关 NLP 库。

# 安装 PyTorch (CPU 版本，若需 GPU 请访问 pytorch.org 获取对应 CUDA 命令)
pip install torch torchvision torchaudio

# 安装 NLP 专用库 (对应清单中的 Frameworks 部分)
pip install transformers datasets spacy scikit-learn

# 下载 SpaCy 中文模型 (可选，用于预处理)
python -m spacy download zh_core_web_sm

3. 获取示例代码

你可以克隆清单中提到的斯坦福 CS224N 课程代码仓库作为学习起点：

git clone https://github.com/DSKSD/DeepNLP-models-Pytorch.git
cd DeepNLP-models-Pytorch
pip install -r requirements.txt

基本使用

以下示例展示如何使用清单中推荐的 Transformers 库（基于 BERT 模型，见清单 Papers/Frameworks 部分），在 5 行代码内完成中文文本情感分析。

最简单的使用示例

创建一个名为 quick_start.py 的文件：

from transformers import pipeline

# 1. 加载预训练的中文情感分析模型
# 该模型对应清单中提到的 "BERT" 及 "Pre-trained models" 概念
classifier = pipeline("sentiment-analysis", model="uer/roberta-base-finetuned-jd-binary-chinese")

# 2. 准备测试文本
text = "这款手机的屏幕非常清晰，但是电池续航能力太差了。"

# 3. 执行预测
result = classifier(text)

# 4. 输出结果
print(f"文本: {text}")
print(f"分析结果: {result}")

运行代码

python quick_start.py

预期输出： 模型将自动下载参数（首次运行需联网），并输出类似以下结果（标签可能为 NEGATIVE/POSITIVE 或 0/1）：

文本：这款手机的屏幕非常清晰，但是电池续航能力太差了。
分析结果: [{'label': 'NEGATIVE', 'score': 0.998}]

下一步学习路径

参考 awesome-dl4nlp 原始清单中的以下板块深入进阶：

• Courses: 观看 Stanford CS224N 视频课程理解理论基础。
• Papers: 阅读 "Attention is All You Need" (Transformer 原文) 或 BERT 相关论文。
• Frameworks: 尝试使用 AllenNLP 或 Flair 构建更复杂的命名实体识别（NER）系统。