NLP项目

自然语言处理项目，包含以下概念和脚本：

• 0_Word2vec

  • gensim、fastText 和 tensorflow 的实现。参见 中文笔记、中文解读

• 1_Sentence2vec

  • doc2vec、word2vec averaging 和 Smooth Inverse Frequency 的实现

• 2_Machine_reading_comprehension

• 3_Dialog_system

  • 对话系统的分类与组件

• 4_Text_classification

  • tensorflow LSTM（参见 中文笔记1、中文解读1 以及 中文笔记2、中文解读2）
  • fastText 实现

• 5_Pretraining_LM

  • ELMo、ULMFit、GPT、BERT、XLNet 的原理

• 6_Sequence_labeling

  • Chinese_word_segmentation
    • HMM Viterbi 的实现。参见 中文笔记、中文解读
  • Named_Entity_Recognition
    • 基于双向 LSTM + CRF 的品牌实体识别，tensorflow 实现。参见 中文笔记、中文解读

• 7_Information_retrieval

• 8_Information_extraction

• 9_Knowledge_graph

• 10_Text_generation

• 11_Network_embedding

概念

1. 注意力

• 注意力 == 加权平均
• 关于注意力机制的综述 1 和 2 将其归纳为以下几种类型：
  • 加法式 vs 乘法式注意力
  • 自注意力
  • 软注意力 vs 硬注意力
  • 全局注意力 vs 局部注意力

2. CNN、RNN 和 Transformer

• 并行化 [1]

  • RNN
    • 为什么不好？
    • 上一步的输出是当前步的输入
  • 解决方案
    • 简单循环单元 (SRU)
      • 在每个隐藏状态神经元上独立进行并行化
    • 分段 RNN
      • 将序列分割成窗口，在每个窗口内使用 RNN，并在窗口之上再使用一个 RNN。
      • 类似于 CNN
  • CNN
    • 为什么好？
    • 可以同时处理一个滤波器内的不同窗口
    • 也可以处理不同的滤波器

• 长距离依赖 [1]

  • CNN
    • 为什么不好？
    • 单次卷积只能捕捉窗口范围内的依赖关系
  • 解决方案
    • 空洞 CNN
    • 深度 CNN
      • N * [卷积 + 跳跃连接]
      • 例如，窗口大小为 3，滑动步长为 1，第二次卷积可以覆盖 5 个词（即 1-2-3、2-3-4、3-4-5）
  • Transformer > RNN > CNN

• 位置信息 [1]

  • CNN

    • 为什么不好？
    • 卷积会保留 相对顺序 信息，但 最大池化会将其丢弃

  • 解决方案

    • 放弃最大池化，改用带有跳跃连接的深度 CNN
    • 添加位置嵌入，就像 ConvS2S 中那样

  • Transformer

    • 为什么不好？
    • 在自注意力机制中，一个词会关注其他词并生成摘要向量，却缺乏相对位置信息

• 语义特征提取 [2]

  • Transformer > CNN == RNN

3. NLP 模型中深度学习的模式 [3]

• 数据

  • 预处理
    • 子词分割 可以避免 OOV 问题并减少词汇表大小
      • sentencepiece
  • 预训练（如 ELMO、BERT）
  • 多任务学习
  • 迁移学习，参考1、参考2
    • 利用源任务/领域 S 来提升目标任务/领域 T
  • 如果 S 只有一个或很少的样本，就分别称为零样本、单样本或少样本学习

• 模型

  • 编码器
    • CNN、RNN、Transformer
  • 结构
    • 序列型、树型、图型

• 学习（改变损失函数定义）

  • 对抗学习
  • 强化学习

参考文献

• [1] 综述
• [2] 为什么选择自注意力？对神经机器翻译架构的针对性评估
• [3] ACL 2019 口头报告

优秀的公共 API

• 百度 AI 开放平台
• 腾讯 AI 开放平台
• 腾讯 NLP

优秀库

中文

• pyltp
• HanLP

英文

• Spacy
• gensim
• 用一行命令安装 TensorFlow: conda install tensorflow-gpu

未来方向

• 多任务学习
• 自训练

NLP-Projects 快速上手指南

NLP-Projects 是一个涵盖自然语言处理核心概念与代码实现的开源合集，包含词向量、文本分类、序列标注、预训练模型等模块。本指南将帮助你快速搭建环境并运行示例。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• Python 版本: Python 3.6+
• GPU (可选): 若需加速深度学习模型训练（如 TensorFlow LSTM, BERT），建议配备 NVIDIA GPU 及 CUDA 驱动。

前置依赖

本项目不同模块依赖不同的库，主要涉及：

• gensim: 用于 Word2Vec, Doc2Vec 等传统模型
• fastText: Facebook 开源的快速文本分类工具
• tensorflow: 用于深度学习模型 (LSTM, CRF, Transformer 等)
• pyltp / HanLP: 中文处理专用工具（可选）

安装步骤

1. 克隆项目

git clone https://github.com/gaoisbest/NLP-Projects.git
cd NLP-Projects

2. 安装基础依赖

建议使用虚拟环境（如 conda 或 venv）以避免冲突。

方案 A：使用 Conda (推荐，尤其适合国内用户配置 GPU 环境) Conda 能更简便地处理 CUDA 和 cuDNN 依赖。

# 创建环境
conda create -n nlp_projects python=3.8
conda activate nlp_projects

# 安装 TensorFlow GPU 版本 (一行命令搞定)
conda install tensorflow-gpu

# 安装其他通用依赖
pip install gensim fasttext scikit-learn numpy pandas

方案 B：使用 Pip

pip install tensorflow gensim fasttext scikit-learn numpy pandas

3. 安装中文处理工具 (可选)

若需运行中文分词或实体识别示例，推荐安装以下国内优化库：

# 安装 HanLP (Java 内核，中文处理强大)
pip install pyhanlp

# 或安装 LTP (哈工大)
pip install pyltp

注：pyltp 可能需要额外下载模型文件，请参考其官方文档。

基本使用

项目按功能划分为多个子目录，每个目录包含独立的脚本和说明。以下是两个典型场景的使用示例。

场景一：运行 Word2Vec 词向量训练

进入 0_Word2vec 目录，使用 gensim 或 tensorflow 实现训练。

cd 0_Word2vec

# 查看具体脚本列表 (通常包含 train_gensim.py 或类似名称)
ls 

# 示例：运行基于 gensim 的训练脚本 (假设脚本名为 train.py，具体文件名请查阅该目录 README)
python train_gensim.py

提示：该目录提供了 gensim, fastText 和 tensorflow 三种实现，请根据安装的库选择对应脚本。

场景二：运行中文分词 (HMM Viterbi)

进入 6_Sequence_labeling/Chinese_word_segmentation 目录。

cd 6_Sequence_labeling/Chinese_word_segmentation

# 运行 HMM Viterbi 分词示例
python hmm_viterbi_segment.py

注意：运行前请确保已准备好测试语料文件，具体文件名和参数请参照该目录下的 README.md。

探索其他模块

你可以直接进入以下目录探索更多功能：

• 文本分类: cd 4_Text_classification (支持 TensorFlow LSTM 和 fastText)
• 命名实体识别: cd 6_Sequence_labeling/Named_Entity_Recognition (Bi-LSTM + CRF)
• 预训练模型原理: 查看 5_Pretraining_LM 中的文档了解 ELMo, BERT, XLNet 等原理。

每个子目录均包含独立的 README.md，详细说明了该模块的数据格式、运行命令及中文解读链接。