ABBYY 深度自然语言处理课程

ABBYY 举办的自然语言处理深度学习速成班。

推荐教材：Yoav Goldberg 著《自然语言处理中的神经网络方法》

我目前正在逐步更新并翻译这些笔记本。敬请关注。

教学材料

第一周：导论

基于 IMDB 电影评论数据集的情感分析：简要概述自然语言处理中的经典机器学习方法 + 极其简短的 Keras 入门介绍。

俄文版：

英文版更新：

第二周：词嵌入：第一部分

认识词嵌入：一种无监督方法，用于捕捉词语之间的一些有趣关系。
利用词嵌入模型计算短语相似度 + 无需平行语料的基于词的机器翻译（使用 MUSE 词嵌入）。

俄文版：

英文版更新：

第三周：词嵌入：第二部分

PyTorch 入门。用纯 NumPy 和 PyTorch 实现宠物线性回归。实现 CBoW、skip-gram、负采样以及结构化 Word2vec 模型。

俄文版：

英文版更新：

第四周：卷积神经网络

卷积网络入门。卷积与 n-gram 的关系。基于字符级卷积的简单姓氏识别器 + 有趣的可视化展示。

俄文版：

英文版更新：

第五周：RNN：第一部分

RNN 用于文本分类。简单 RNN 实现 + 记忆测试。多语言环境下的姓氏识别器：基于字符级 LSTM 的分类器。

俄文版：

英文版更新：

第六周：RNN：第二部分

RNN 用于序列标注。基于词嵌入和字符级词嵌入的词性标注器实现。

俄文版：

第七周：语言模型：第一部分

用于生成俄罗斯网络喷子推文的字符级语言模型：基于卷积的固定窗口模型与 RNN 模型。
简单的条件语言模型：根据源语言生成姓氏。
以及有毒评论分类挑战——将你的技能应用于一个现实世界的问题。

俄文版：

第八周：语言模型：第二部分

用于诗歌生成的词级语言模型。宠物示例：迁移学习与多任务学习在语言模型中的应用。

俄文版：

第九周：Seq2seq

用于机器翻译和图像描述的 Seq2seq。字节对编码、束搜索及其他机器翻译中实用的技术。

俄文版：

第十周：带注意力的 Seq2seq

用于机器翻译和图像描述的带注意力的 Seq2seq。

俄文版：

第十一周：Transformer 与文本摘要

实现 Transformer 模型用于文本摘要。讨论用于文本摘要的指针生成网络。

俄文版：

第十二周：对话系统：第一部分

目标导向的对话系统。实现多任务模型：意图分类器与对话管理器中的标记器。

俄文版：

第十三周：对话系统：第二部分

通用对话系统与 DSSM。在 SQuAD 数据集上实现问答模型，在 OpenSubtitles 数据集上实现闲聊模型。

俄文版：

第14周：预训练模型

针对各类任务的预训练模型：用于句子相似度计算的通用句子编码器、用于序列标注的ELMo（结合少量CRF）、以及用于SWAG——即关于可能续写的推理——的BERT。

俄文版：

最终展示

NLP总结——课程中出现与未出现的精彩内容汇总。

DeepNLP-Course 快速上手指南

环境准备

系统要求

• 操作系统：支持 Linux、macOS 或 Windows（推荐使用 Linux 或 macOS）
• Python 版本：3.7 及以上
• 硬件要求：建议使用带有 GPU 的设备以加速深度学习训练过程

前置依赖

确保已安装以下工具和库：

• Python
• Jupyter Notebook / Colab（推荐使用 Google Colab 进行在线运行）
• Python 依赖库：numpy, pandas, tensorflow, pytorch, keras, scikit-learn 等（具体版本可在各周课程的 Colab 笔记本中查看）

如需国内加速安装，可使用清华源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas tensorflow pytorch scikit-learn

安装步骤

1. 克隆仓库
   使用 Git 克隆项目到本地：

   git clone https://github.com/ABBYY/DeepNLP-Course.git
   

2. 进入项目目录
   执行以下命令进入项目文件夹：

   cd DeepNLP-Course
   

3. 安装依赖
   安装所需的 Python 依赖包（如果尚未安装）：

   pip install -r requirements.txt
   

4. 启动 Jupyter Notebook
   在项目根目录下运行以下命令启动 Jupyter Notebook：

   jupyter notebook
   

   或者直接在 Google Colab 中打开每周课程的 .ipynb 文件进行在线运行。

基本使用

示例：第一周 - 情感分析入门

1. 打开 Colab 笔记本
   直接访问英文版的 Colab 链接（推荐）：

   Week 1: Introduction (English)

2. 运行代码
   在 Colab 中依次运行每个代码块。该笔记本将引导你完成以下任务：

   • 加载 IMDB 电影评论数据集
   • 使用经典机器学习方法进行情感分类
   • 简要介绍 Keras 框架

3. 查看结果
   最后一个代码块会输出模型的准确率，你可以看到训练结果并理解整个流程。

---

其他课程快速体验

每节课都有对应的 Colab 笔记本，可以直接点击下方链接打开并运行：

• 第二周：Word Embeddings: Part 1
• 第三周：Word Embeddings: Part 2
• 更多课程请参考 README 中的“Materials”部分。

---

通过上述步骤，你可以快速开始使用 DeepNLP-Course 学习自然语言处理中的深度学习技术。