自然语言处理：从零到高手！

欢迎来到自然语言处理的理论与实践课程。

在这个仓库中，我涵盖了你进入自然语言处理领域所需了解的几乎所有内容，从分词器到 Transformer 架构。完成本课程后，你将对自然语言处理的核心概念有扎实的理解。

本仓库的目标是为你提供核心直觉，并在学习结束时，让你了解相关技术多年来的发展历程以及它们之所以如此的原因。

图片由 Ideogram 生成

目录

1. 分词

2. 预处理

3. 词袋模型与相似度

4. TF-IDF 与文档检索

5. 朴素贝叶斯文本分类

6. LDA 主题建模

7. 词嵌入

8. 循环神经网络 (RNN) 与语言模型

9. 机器翻译与注意力机制

10. Transformer

如何使用这个仓库？

• 鉴于机器学习和深度学习所需的计算资源，建议使用 Google Colab 或 Kaggle Kernels。
• 你可以点击 来在 Colab 中打开笔记本。
• 你可以点击 在 Kaggle 中打开笔记本。
• 部分笔记本使用了 Kaggle 数据集，其中一些数据集的大小达到 GB 级别。
• 为了更快地加载这些数据集，建议使用相应的标签在 Kaggle 中打开它们。
• 打开 Kaggle Kernel 并不会直接附加笔记本所需的数据集。
• 你需要手动附加相应笔记本中提供的数据集链接，这些链接会在你逐步学习的过程中出现。
• 请从 Tokenization 笔记本开始，按顺序逐步学习。
• 请花时间理解其中的概念和代码。本课程的设计宗旨就是易于理解，并允许你按照自己的节奏进行学习。
• 在开始之前，请确保你具备 Python 编程的基础知识。
• 如果你在学习过程中遇到任何问题或疑问，欢迎随时在 GitHub 仓库中提交 issue。
• 如果你觉得本仓库对你有所帮助，请不要忘记给它点个 star！

贡献

我们非常欢迎你为本仓库做出贡献。你可以先提交一个 issue，或者发起一个 pull request。如果你有任何疑问，欢迎通过 X 联系我。

如果你有一些认为对他人有帮助的资源，也欢迎提交 issue 或 pull request。

许可证

本项目采用 MIT 许可证授权——详情请参阅 LICENSE 文件。

Star 历史

nlp-zero-to-hero 快速上手指南

本指南旨在帮助开发者快速开始自然语言处理（NLP）的学习之旅，涵盖从分词到 Transformer 架构的核心概念与实战代码。

环境准备

由于机器学习（ML）和深度学习（DL）对计算资源有较高要求，强烈建议使用云端 GPU 环境运行本项目，以避免本地配置复杂及硬件不足的问题。

• 推荐平台：
  • Google Colab：提供免费 GPU/TPU 资源，无需本地安装。
  • Kaggle Kernels：同样提供免费计算资源，且部分笔记本依赖的大数据集在 Kaggle 上加载更快。
• 前置知识：
  • 具备基础的 Python 编程能力。
• 数据注意：
  • 部分笔记本使用了 GB 级别的数据集。若在 Kaggle 上运行，需手动在 Kernel 设置中关联笔记本内提供的数据集链接，直接打开 Notebook 不会自动挂载数据。

安装步骤

本项目主要为一系列 Jupyter Notebook 教程，无需在本地执行复杂的安装命令。请按照以下方式获取并运行：

方式一：使用 Google Colab（推荐）

点击下方的徽章即可直接在浏览器中打开并运行第一个笔记本，后续笔记本请按顺序打开：

方式二：使用 Kaggle

点击下方徽章在 Kaggle 中打开（记得手动关联数据集）：

方式三：本地运行（可选）

如果你希望在本地运行，请先克隆仓库并确保安装了基础数据科学库：

git clone https://github.com/JUSTSUJAY/nlp-zero-to-hero.git
cd nlp-zero-to-hero
pip install jupyter pandas numpy scikit-learn tensorflow torch transformers matplotlib seaborn

基本使用

本教程设计为循序渐进的学习路径，请严格按照以下顺序执行笔记本，以建立完整的 NLP 知识体系：

1. 启动学习：从 01_Tokenization.ipynb 开始。
2. 逐步进阶：完成一个笔记本后，再进入下一个。切勿跳步，因为后续概念依赖于前面的基础。

学习路径概览：

顺序	主题	核心内容
1	Tokenization	文本分词基础
2	Preprocessing	数据预处理技巧
3	Bag of Words & Similarity	词袋模型与文本相似度
4	TF-IDF & Document Search	TF-IDF 算法与文档检索
5	Naive Bayes Text Classification	朴素贝叶斯文本分类
6	LDA Topic Modelling	LDA 主题模型
7	Word Embeddings	词向量表示
8	RNNs & Language Modelling	循环神经网络与语言模型
9	Machine Translation & Attention	机器翻译与注意力机制
10	Transformers	Transformer 架构详解

使用示例（以 Colab 为例）：

1. 点击上述 Google Colab 链接打开 01_Tokenization.ipynb。
2. 点击菜单栏的 Runtime (运行时) -> Run all (全部运行)，或逐个单元格按 Shift + Enter 执行代码。
3. 阅读代码下方的解释性文本，理解分词的原理及代码实现。
4. 尝试修改代码中的输入文本，观察分词结果的变化。
5. 完成后，点击左上角返回 GitHub 目录，依次打开 02_Pre_Processing.ipynb 继续学习。

提示：每个笔记本都包含了理论直觉（Intuition）和动手实践（Hands-on），请花时间仔细阅读注释和理解代码逻辑。