文本分类项目

---

本项目基于CNN、RNN以及NLP中的预训练模型，构建了多个常见的文本分类模型。

requirements

• python==3.5.6
• tensorflow-gpu==1.10.0

1. 数据集

  数据集为IMDB电影评论的情感分析数据集，总共有三个部分：

• 带标签的训练集：labeledTrainData.tsv
• 不带标签的训练集：unlabeledTrainData.tsv
• 测试集：testData.tsv

  字段的含义：

• id 电影评论的id
• review 电影评论的内容
• sentiment 情感分类的标签（只有labeledTrainData.tsv数据集中有）

2. 数据预处理

  数据预处理方法/dataHelper/processData.ipynb

  将原始数据处理成干净的数据，处理后的数据存储在/data/preProcess下，数据预处理包括：

• 去除各种标点符号
• 生成训练word2vec模型的输入数据 /data/preProcess/wordEmbedding.txt

3. 训练word2vec词向量

  预训练word2vec词向量/word2vec/genWord2Vec.ipynb

• 预训练的词向量保存为bin格式 /word2vec/word2Vec.bin

4. textCNN 文本分类

  textCNN模型来源于论文Convolutional Neural Networks for Sentence Classification

  textCNN可以看作是一个由三个单层的卷积网络的输出结果进行拼接的融合模型，作者提出了三种大小的卷积核[3, 4, 5]，卷积核的滑动使得其 类似于NLP中的n-grams，因此当你需要更多尺度的n-grams时，你可以选择增加不同大小的卷积核，比如大小为2的卷积核可以代表 2-grams.

  textCNN代码在/textCNN/textCNN.ipynb。实现包括四个部分：

• 参数配置类 Config （包括训练参数，模型参数和其他参数）
• 数据预处理类 Dataset （包括生成词汇空间，获得预训练词向量，分割训练集和验证集）
• textCNN模型类 TextCNN
• 模型训练

5. charCNN 文本分类

  textCNN模型来源于论文Character-level Convolutional Networks for Text Classification

  char-CNN是一种基于字符级的文本分类器，将所有的文本都用字符表示， 注意这里的数据预处理时不可以去掉标点符号或者其他的各种符号，最好是保存论文中提出的69种字符，我一开始使用去掉特殊符号的字符后的文本输入到模型中会无法收敛。 此外由于训练数据集比较少，即使论文中最小的网络也无法收敛，此时可以减小模型的复杂度，包括去掉一些卷积层等。

  charCNN代码在/charCNN/charCNN.ipynb。实现也包括四个部分，也textCNN一致，但是在这里的数据预处理有很大不一样，剩下 的就是模型结构不同，此外模型中可以引入BN层来对每一层的输出做归一化处理。

6. Bi-LSTM 文本分类

  Bi-LSTM可以参考我的博客深度学习之从RNN到LSTM

  Bi-LSTM是双向LSTM，LSTM是RNN的一种，是一种时序模型，Bi-LSTM是双向LSTM，旨在同时捕获文本中上下文的信息， 在情感分析类的问题中有良好的表现。

  Bi-LSTM的代码在/Bi-LSTM/Bi-LSTM.ipynb中。除了模型类的代码有改动，其余代码几乎和textCNN一样。

7. Bi-LSTM + Attention 文本分类

  Bi-LSTM + Attention模型来源于论文Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

  Bi-LSTM + Attention 就是在Bi-LSTM的模型上加入Attention层，在Bi-LSTM中我们会用最后一个时序的输出向量 作为特征向量，然后进行softmax分类。Attention是先计算每个时序的权重，然后将所有时序 的向量进行加权和作为特征向量，然后进行softmax分类。在实验中，加上Attention确实对结果有所提升。

  Bi-LSTM + Attention的代码在/Bi-LSTM+Attention/Bi-LSTMAttention.ipynb中，除了模型类中 加入Attention层，其余代码和Bi-LSTM一致。

8. RCNN 文本分类

  RCNN模型来源于论文Recurrent Convolutional Neural Networks for Text Classification

  RCNN 整体的模型构建流程如下：

• 利用Bi-LSTM获得上下文的信息，类似于语言模型
• 将Bi-LSTM获得的隐层输出和词向量拼接[fwOutput, wordEmbedding, bwOutput]
• 将拼接后的向量非线性映射到低维
• 向量中的每一个位置的值都取所有时序上的最大值，得到最终的特征向量，该过程类似于max-pool
• softmax分类

  RCNN的代码在/RCNN/RCNN.ipynb中。

9. adversarialLSTM 文本分类

  Adversarial LSTM模型来源于论文Adversarial Training Methods For Semi-Supervised Text Classification

  adversarialLSTM的核心思想是通过对word Embedding上添加噪音生成对抗样本，将对抗样本以和原始样本 同样的形式喂给模型，得到一个Adversarial Loss，通过和原始样本的loss相加得到新的损失，通过优化该新 的损失来训练模型，作者认为这种方法能对word embedding加上正则化，避免过拟合。

  adversarialLSTM的代码在/adversarialLSTM/adversarialLSTM.ipynb中。

10. Transformer 文本分类

  Transformer模型来源于论文Attention Is All You Need

  Transformer模型有两个结构：Encoder和Decoder，在进行文本分类时只需要用到 Encoder结构，Decoder结构是生成式模型，用于自然语言生成的。Transformer的核心结构是 self-Attention机制，具体的介绍见Transformer模型（Atention is all you need）。

  Transformer模型的代码在/Transformer/transformer.ipynb中。

11. ELMo预训练模型 文本分类

  ELMo模型来源于论文Deep contextualized word representations

  ELMo的结构是BiLM（双向语言模型），基于ELMo的预训练模型能动态地生成 词的向量表示，具体的介绍见ELMO模型（Deep contextualized word representation）

  ELMo预训练模型用于文本分类的代码位于/ELMo/elmo.ipynb中。 /ELMo/bilm/下是ELMo项目中的源码，/ELMo/modelParams/下是各种文件。

12. Bert预训练模型 文本分类

  BERT模型来源于论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

  BERT模型是基于双向Transformer实现的语言模型，集预训练和下游任务于一个模型中， 因此在使用的时候我们不需要搭建自己的下游任务模型，直接用BERT模型即可，我们将谷歌开源的源码下载 下来放在bert文件夹中，在进行文本分类只需要修改run_classifier.py文件即可，另外我们需要将训练集 和验证集分割后保存在两个不同的文件中，放置在/BERT/data下。然后还需要下载谷歌预训练好的模型放置在 /BERT/modelParams文件夹下，还需要建一个/BERT/output文件夹用来放置训练后的模型文件

  做完上面的步骤之后只要执行下面的脚本即可

  export BERT_BASE_DIR=../modelParams/uncased_L-12_H-768_A-12

  export DATASET=../data/

  python run_classifier.py
    --data_dir=$MY_DATASET
    --task_name=imdb
    --vocab_file=$BERT_BASE_DIR/vocab.txt
    --bert_config_file=$BERT_BASE_DIR/bert_config.json
    --output_dir=../output/
    --do_train=true
    --do_eval=true
    --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt
    --max_seq_length=200
    --train_batch_size=16
    --learning_rate=5e-5
    --num_train_epochs=3.0

  BERT模型用于文本分类的详细使用可以看我的博客 文本分类实战（十）—— BERT 预训练模型

textClassifier 快速上手指南

本指南帮助开发者快速部署并运行基于 CNN、RNN 及预训练模型（如 BERT、ELMo）的文本分类项目。

1. 环境准备

本项目依赖特定的 Python 版本和 TensorFlow GPU 版本，请确保环境配置一致以避免兼容性问题。

• 操作系统: Linux / Windows (需支持 GPU)
• Python: 3.5.6
• 深度学习框架: tensorflow-gpu==1.10.0
• 数据集: IMDB 电影评论情感分析数据集（包含训练集、无标签集和测试集）

提示: 国内用户可使用清华或阿里镜像源加速 Python 包安装。

2. 安装步骤

2.1 克隆项目

首先获取项目源代码：

git clone <项目仓库地址>
cd textClassifier

2.2 安装依赖

创建虚拟环境并安装指定版本的依赖包：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python==3.5.6
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.10.0

(注：若系统已安装对应版本 Python，可直接安装 tensorflow)

2.3 数据预处理与词向量训练

在运行具体模型前，需先处理数据并生成词向量。

1. 数据清洗：运行预处理脚本，去除标点符号并生成 Word2Vec 输入数据。

   # 执行 Jupyter Notebook 或使用 nbconvert 运行
   jupyter nbconvert --execute dataHelper/processData.ipynb
   

   输出路径: /data/preProcess/wordEmbedding.txt

2. 训练 Word2Vec：生成预训练词向量文件。

   jupyter nbconvert --execute word2vec/genWord2Vec.ipynb
   

   输出路径: /word2vec/word2Vec.bin

3. 基本使用

项目包含了多种模型实现，均位于对应的 .ipynb 文件中。以下以 TextCNN 为例展示最简使用流程，其他模型操作逻辑类似。

3.1 运行 TextCNN 模型

打开并执行 /textCNN/textCNN.ipynb。该 Notebook 内部已封装完整流程：

1. 参数配置: 实例化 Config 类，设置训练参数、模型超参等。
2. 数据加载: 实例化 Dataset 类，加载词汇空间、预训练词向量并划分训练/验证集。
3. 模型构建: 实例化 TextCNN 类，构建包含多尺度卷积核（3, 4, 5）的网络结构。
4. 开始训练: 调用训练函数启动模型训练。

# 伪代码示例 (参考 textCNN.ipynb 内部逻辑)
from textCNN import Config, Dataset, TextCNN

# 1. 配置参数
config = Config()

# 2. 准备数据
dataset = Dataset(config)
dataset.load_data()

# 3. 初始化模型
model = TextCNN(config, dataset.word_vec)

# 4. 训练模型
model.train(dataset.train_data, dataset.val_data)

3.2 运行其他模型

根据需求选择对应的 Notebook 执行：

• CharCNN: /charCNN/charCNN.ipynb (注意：此模型需保留标点符号，不可使用上述通用预处理结果)
• Bi-LSTM: /Bi-LSTM/Bi-LSTM.ipynb
• Bi-LSTM + Attention: /Bi-LSTM+Attention/Bi-LSTMAttention.ipynb
• RCNN: /RCNN/RCNN.ipynb
• Adversarial LSTM: /adversarialLSTM/adversarialLSTM.ipynb
• Transformer: /Transformer/transformer.ipynb
• ELMo: /ELMo/elmo.ipynb (需确保 /ELMo/bilm/ 源码及 /ELMo/modelParams/ 参数文件就位)

3.3 运行 BERT 模型

BERT 模型使用独立的脚本运行，需提前下载谷歌预训练模型并放置于 /BERT/modelParams，数据放置于 /BERT/data。

执行以下命令启动训练与评估：

export BERT_BASE_DIR=../modelParams/uncased_L-12_H-768_A-12
export DATASET=../data/

python run_classifier.py \
  --data_dir=$MY_DATASET \
  --task_name=imdb \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --output_dir=../output/ \
  --do_train=true \
  --do_eval=true \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=200 \
  --train_batch_size=16 \
  --learning_rate=5e-5\
  --num_train_epochs=3.0