nlp-notebooks

NLP Town 提供的自然语言处理笔记本集合

NLP 入门

1. 词嵌入简介
2. 使用 spaCy 和 StanfordNLP 的预训练模型进行 NLP
3. 使用 LDA 发现并可视化文本中的主题

命名实体识别

1. 更新 spaCy 的命名实体识别系统
2. 使用条件随机场进行命名实体识别
3. 在 PyTorch 中使用 BiLSTM 进行序列标注
4. 使用预训练 Transformer 进行医学实体识别

文本分类

1. 使用 Scikit-learn 进行“传统”文本分类
2. 使用小型 Transformer 进行意图分类
3. 零样本文本分类

句子相似度

1. 简单的句子相似度
2. 利用句子相似度进行数据探索

多语言词嵌入

1. 简介
2. 跨语言句子相似度
3. 跨语言迁移学习

迁移学习

1. 使用 Keras 和 Elmo 嵌入进行情感分析
2. 在 PyTorch 中使用 BERT 进行文本分类
3. 使用 BERT 进行多语言文本分类

nlp-notebooks 快速上手指南

nlp-notebooks 是 NLP Town 提供的一系列自然语言处理（NLP）教学笔记本集合，涵盖从词嵌入基础到 BERT 迁移学习等核心主题。本指南将帮助你快速搭建环境并运行这些示例。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.8 - 3.10
• 核心依赖：
  • Jupyter Notebook / JupyterLab
  • PyTorch 或 TensorFlow (根据具体笔记本需求)
  • spaCy, scikit-learn, transformers (Hugging Face)
  • gensim (用于 LDA 主题模型)
• 硬件建议：部分涉及深度学习（如 BERT、BiLSTM）的笔记本建议使用带有 GPU 的环境以加速运行。

安装步骤

1. 克隆项目仓库

首先，将 nlp-notebooks 仓库克隆到本地：

git clone https://github.com/nlptown/nlp-notebooks.git
cd nlp-notebooks

国内加速提示：如果访问 GitHub 较慢，可使用 Gitee 镜像（如有）或通过代理加速克隆。

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 创建隔离环境。以下以 pip 为例安装通用依赖（具体笔记本可能需要额外包，请参考各 .ipynb 文件顶部的导入语句）：

python -m venv nlp-env
source nlp-env/bin/activate  # Windows 用户请使用: nlp-env\Scripts\activate

# 使用国内镜像源加速安装 (推荐清华源)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple \
    jupyter notebook \
    torch torchvision torchaudio \
    tensorflow \
    spacy \
    scikit-learn \
    transformers \
    gensim \
    matplotlib \
    pandas \
    numpy

# 下载 spaCy 中文模型 (如需处理中文文本)
python -m spacy download zh_core_web_sm

3. 启动 Jupyter

安装完成后，在当前目录启动 Jupyter Notebook：

jupyter notebook

浏览器将自动打开，显示项目中的笔记本列表。

基本使用

运行第一个示例：词嵌入入门

1. 在 Jupyter 界面中，进入 NLP 101 文件夹。
2. 点击打开 An Introduction to Word Embeddings.ipynb。
3. 按顺序执行单元格（点击单元格后按 Shift + Enter）。

该笔记本将演示如何加载预训练词向量并进行简单的相似度计算。

运行进阶示例：BERT 文本分类

1. 进入 Transfer Learning 文件夹。
2. 打开 Text classification with BERT in PyTorch.ipynb。
3. 确保已安装 transformers 和 torch。
4. 执行代码块，它将自动从 Hugging Face 下载预训练 BERT 模型并进行微调演示。

注意：首次运行涉及预训练模型的笔记本时，会自动下载模型文件。若网络受限，建议提前配置 Hugging Face 国内镜像：

export HF_ENDPOINT=https://hf-mirror.com

(Windows PowerShell: $env:HF_ENDPOINT="https://hf-mirror.com")

现在你可以自由探索其他模块，如命名实体识别（NER）、主题模型（LDA）或多语言嵌入实验。