自然语言处理教程

中文教程可在 mofanpy.com 找到。

此仓库包含许多自然语言处理（NLP）中模型的简单实现。

本教程中的所有代码实现按以下方式组织：

1. 搜索引擎

• TF-IDF numpy / TF-IDF sklearn

2. 理解词（W2V）

• 连续词袋模型（CBOW）
• 跳字模型（Skip-Gram）

3. 理解句子（Seq2Seq）

• seq2seq
• CNN语言模型

4. 关于注意力的一切

• 带有注意力机制的seq2seq
• Transformer

5. 预训练模型

• ELMo
• GPT
• BERT

感谢 @W1Fl 在 simple_realize 中提供的简化版 Keras 代码。此外，@ruifanxu 还制作了本 NLP 教程的 PyTorch 版本。

安装

$ git clone https://github.com/MorvanZhou/NLP-Tutorials
$ cd NLP-Tutorials/
$ sudo pip3 install -r requirements.txt

TF-IDF

TF-IDF numpy 代码

TF-IDF 简短 sklearn 代码

Word2Vec

向量空间中词表示的有效估计

Skip-Gram 代码

CBOW 代码

Seq2Seq

基于神经网络的序列到序列学习

Seq2Seq 代码

CNNLanguageModel

用于句子分类的卷积神经网络

CNN 语言模型 代码

Seq2SeqAttention

基于注意力的神经机器翻译的有效方法

Seq2Seq Attention 代码

Transformer

注意力就是一切

Transformer 代码

ELMO

深度上下文相关的词表示

ELMO 代码

GPT

通过生成式预训练提升语言理解能力

GPT 代码

BERT

BERT：用于语言理解的深度双向 Transformer 的预训练

BERT 代码

我的新尝试 带窗口掩码的 Bert

NLP-Tutorials 快速上手指南

NLP-Tutorials 是一个包含多种自然语言处理（NLP）模型简易实现的开源项目，涵盖从基础的 TF-IDF、Word2Vec 到先进的 Transformer、BERT 等模型。所有代码均提供简洁的实现逻辑，适合学习者快速理解核心原理。

💡 提示：本项目配有详细的中文教程，访问 mofanpy.com 可获取更深入的理论讲解。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (需安装 Git 和 Python)
• Python 版本：推荐 Python 3.6 及以上
• 前置依赖：
  • git：用于克隆代码仓库
  • pip3：Python 包管理工具
  • 主要库：numpy, tensorflow (或 keras), sklearn 等（将通过 requirements.txt 自动安装）

安装步骤

请按照以下步骤克隆仓库并安装依赖：

1. 克隆项目代码

   $ git clone https://github.com/MorvanZhou/NLP-Tutorials
   $ cd NLP-Tutorials/
   

2. 安装依赖包 建议使用国内镜像源（如清华源）以加速下载：

   $ sudo pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：如果无需 sudo 权限或使用虚拟环境，可去掉 sudo)

3. 其他版本选择（可选）

   • PyTorch 版本：如果需要 PyTorch 实现，请进入 /pytorch 目录查看相关代码。
   • 简化 Keras 版：simple_realize 目录下包含更简化的 Keras 代码实现。

基本使用

本项目按功能模块组织代码，每个模型对应独立的 .py 文件。以下是运行最简单示例的流程：

1. 运行基础模型：TF-IDF

TF-IDF 是文本特征提取的基础方法。

• NumPy 实现：

  $ python tf_idf.py
  

• Sklearn 实现：

  $ python tf_idf_sklearn.py
  

2. 运行词向量模型：Word2Vec

学习 CBOW 和 Skip-Gram 模型。

• Skip-Gram：

  $ python skip-gram.py
  

• CBOW：

  $ python CBOW.py
  

3. 运行进阶模型：Seq2Seq 与 Transformer

涉及序列生成和注意力机制的模型。

• Seq2Seq：

  $ python seq2seq.py
  

• Transformer：

  $ python transformer.py
  

4. 运行预训练模型：BERT / GPT / ELMo

直接运行对应的脚本即可加载简化版的预训练模型逻辑进行演示：

$ python BERT.py
$ python GPT.py
$ python ELMo.py

说明：运行上述脚本后，程序通常会输出训练过程中的损失值（Loss）或生成简单的预测结果。具体的代码逻辑和参数调整请参考各 .py 文件内的注释及莫烦 Python 网站的详细教程。