自然语言处理（NLP）代码入门课程

你可以在这篇博客文章中了解本课程的详情，所有课程视频也在此处提供。

本课程最初于 2019 年夏季在旧金山大学数据科学硕士项目中讲授。课程使用 Python 和 Jupyter Notebook 进行教学，并采用 sklearn、nltk、pytorch 和 fastai 等库。

目录

本课程将涵盖以下主题：

1. 什么是自然语言处理（NLP）？

• 一个不断变化的领域
• 学习资源
• 工具
• Python 库
• 应用示例
• 伦理问题

2. 使用 NMF 和 SVD 进行主题建模（Topic Modeling）

• 停用词（Stop words）、词干提取（stemming）与词形还原（lemmatization）
• 词-文档矩阵（Term-document matrix）
• 词频-逆文档频率（TF-IDF, Topic Frequency-Inverse Document Frequency）
• 奇异值分解（SVD, Singular Value Decomposition）
• 非负矩阵分解（NMF, Non-negative Matrix Factorization）
• 截断 SVD（Truncated SVD）、随机化 SVD（Randomized SVD）

3. 使用朴素贝叶斯（Naive Bayes）、逻辑回归（Logistic regression）和 n 元语法（ngrams）进行情感分类

• 稀疏矩阵存储（Sparse matrix storage）
• 计数器（Counters）
• fastai 库
• 朴素贝叶斯
• 逻辑回归
• n 元语法（Ngrams）
• 使用朴素贝叶斯特征的逻辑回归（含三元语法）

4. 正则表达式（Regex）（并重新审视分词/tokenization）

5. 使用深度学习进行语言建模（Language modeling）与情感分类

• 语言模型（Language model）
• 迁移学习（Transfer learning）
• 情感分类

6. 使用循环神经网络（RNNs）进行机器翻译

• 回顾词嵌入（Embeddings）
• BLEU 评估指标（Bleu metric）
• 教师强制（Teacher Forcing）
• 双向（Bidirectional）
• 注意力机制（Attention）

7. 使用 Transformer 架构进行机器翻译

• Transformer 模型（Transformer Model）
• 多头注意力（Multi-head attention）
• 掩码（Masking）
• 标签平滑（Label smoothing）

8. NLP 中的偏见与伦理问题

• 词嵌入中的偏见（bias in word embeddings）
• 偏见的类型
• 注意力经济（attention economy）
• 虚假/欺诈信息泛滥

为什么本课程的教学顺序看起来有些奇怪？

本课程采用一种“自上而下”（top-down）的教学方法，这与大多数数学课程的常规方式不同。通常，“自下而上”（bottom-up）的方法会先让你学习所有将要用到的独立组件，然后逐步将它们组合成更复杂的结构。但这种方法的问题在于，学生常常会失去动力，缺乏对“整体图景”的理解，也不清楚自己真正需要什么。

哈佛大学教授 David Perkins 在其著作《Making Learning Whole》（中文可译为《让学习完整》）中以棒球为例进行了类比：我们不会要求孩子们在打球之前先背熟所有规则并理解所有技术细节；相反，他们会先带着对游戏的大致理解开始玩，然后随着时间推移逐步学习更多规则和细节。

如果你上过 fast.ai 的深度学习课程，就会发现我们采用了同样的方法。你可以通过这篇博客文章或我在旧金山机器学习 Meetup 上的演讲进一步了解我的教学理念。

总而言之，如果你一开始无法理解所有内容，请不要担心！这是正常的。我们会先使用一些“黑箱”工具，之后再深入探讨底层细节。

刚开始时，请专注于这些工具“能做什么”，而不是“它们是什么”。

course-nlp 快速上手指南

环境准备

• 操作系统：推荐 Linux 或 macOS；Windows 用户建议使用 WSL2
• Python 版本：3.7 或更高版本
• 前置依赖：确保已安装 git 和 pip

💡 国内用户建议配置 PyPI 镜像源（如清华源）以加速依赖安装：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库：

   git clone https://github.com/fastai/course-nlp.git
   cd course-nlp
   

2. 安装依赖（推荐使用虚拟环境）：

   python -m venv nlp-env
   source nlp-env/bin/activate  # Windows: nlp-env\Scripts\activate
   pip install -r requirements.txt
   

   ⚠️ 若安装缓慢或失败，可尝试单独安装核心库并指定国内镜像：

   pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu
   pip install fastai nltk scikit-learn jupyter
   

3. 启动 Jupyter Notebook：

   jupyter notebook
   

基本使用

1. 在浏览器中打开 Jupyter，进入 notebooks/ 目录
2. 打开第一个示例笔记 01_intro.ipynb
3. 按顺序运行单元格（Cell → Run All），即可看到 NLP 基础任务的完整流程，例如：

from fastai.text.all import *
path = untar_data(URLs.IMDB)
dls = TextDataLoaders.from_folder(path, valid='test')
learn = text_classifier_learner(dls, AWD_LSTM, metrics=accuracy)
learn.fine_tune(2)

该示例将自动下载 IMDB 影评数据集，并训练一个情感分类模型。

📌 提示：课程采用“自上而下”教学法，初学时无需深究所有细节，先关注代码“做什么”，后续再理解“为什么”。