文本分类-Keras

本代码仓库采用 Keras 框架，实现了多种用于文本分类的深度学习模型，包括但不限于：FastText、TextCNN、TextRNN、TextBiRNN、TextAttBiRNN、HAN、RCNN、RCNNVariant 等。除了模型实现之外，还附带了一个简化的应用示例。

• 英文文档
• 中文文档

指导说明

1. 环境设置
2. 使用方法
3. 模型
   1. FastText
   2. TextCNN
   3. TextRNN
   4. TextBiRNN
   5. TextAttBiRNN
   6. HAN
   7. RCNN
   8. RCNNVariant
   9. 待续...
4. 参考文献

环境设置

• Python 3.7
• NumPy 1.17.2
• TensorFlow 2.0.1

使用方法

所有代码均位于目录 /model 中，每种模型都对应一个独立的目录，其中分别存放模型文件和应用程序。

例如，FastText 的模型与应用程序位于 /model/FastText 目录下，模型部分为 fast_text.py，应用程序部分为 main.py。

模型

1 FastText

FastText 是由论文《高效文本分类的“技巧袋”》（Bag of Tricks for Efficient Text Classification）提出。

1.1 论文中的描述

1. 利用查找表，将ngram 袋转换为词表示。
2. 将词表示通过平均处理，生成文本表示，即隐藏变量。
3. 将文本表示输入到线性分类器中。
4. 通过softmax函数计算预定义类别之间的概率分布。

1.2 本代码中的实现

FastText 的网络结构如下：

2 TextCNN

TextCNN 是由论文《用于句子分类的卷积神经网络》（Convolutional Neural Networks for Sentence Classification）提出。

2.1 论文中的描述

1. 以静态通道与非静态通道来表示句子。
2. 对多个滤波器宽度和特征图进行卷积操作。
3. 使用时间最大池化。
4. 通过全连接层结合Dropout和Softmax输出。

2.2 本代码中的实现

TextCNN 的网络结构如下：

3 TextRNN

TextRNN 在论文《基于多任务学习的文本分类递归神经网络》（Recurrent Neural Network for Text Classification with Multi-Task Learning）中被提及。

3.1 论文中的描述

3.2 本代码中的实现

TextRNN 的网络结构如下：

4 TextBiRNN

TextBiRNN 是基于 TextRNN 的改进模型。它将网络结构中的 RNN 层优化为双向 RNN 层，旨在不仅考虑正向编码信息，还能兼顾反向编码信息。目前尚未找到相关论文。

TextBiRNN 的网络结构如下：

5 TextAttBiRNN

TextAttBiRNN 是一种基于 TextBiRNN 的改进模型，引入了注意力机制。对于双向 RNN 编码器所得到的表示向量，该模型可通过注意力机制聚焦于对决策最为关键的信息。注意力机制最早由论文《通过联合学习对齐与翻译实现神经机器翻译》（Neural Machine Translation by Jointly Learning to Align and Translate）提出，而本代码中注意力机制的实现正是参考了该论文《带有注意力的前馈网络可以解决一些长期记忆问题》（Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems）。

5.1 论文中的描述

在论文《带有注意力的前馈网络可以解决一些长期记忆问题》（Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems）中，前馈注意力被简化为以下形式：

函数 a 是一个可学习的函数，被视作前馈网络。在此公式中，注意力可以通过对状态序列 h 进行自适应加权平均，从而生成输入序列的固定长度嵌入向量 c。

5.2 本代码中的实现

此处未详细描述注意力机制的实现，建议直接参考源代码。

TextAttBiRNN 的网络结构如下：

6 HAN

HAN 是由论文《用于文档分类的分层注意力网络》（Hierarchical Attention Networks for Document Classification）提出。

6.1 论文中的描述

1. 词编码器：通过双向 GRU进行编码，通过对前向隐藏状态与后向隐藏状态进行拼接，获得给定词的标注，从而汇总整个句子的信息，并以当前时间步的词为中心进行总结。
2. 词注意力：通过单层MLP和 softmax 函数，能够计算出先前词标注的归一化重要权重。随后，根据这些权重，将词标注进行加权求和，得到句子向量。
3. 句编码器：与词编码器类似，同样使用双向 GRU对句子进行编码，以获取句子的标注。
4. 句注意力：与词注意力类似，通过单层MLP和 softmax 函数，计算出句标注的权重。随后，依据这些权重，对句标注进行加权求和，得到文档向量。
5. 文档分类：通过softmax函数，计算出所有类别的概率。

6.2 本代码中的实现

本代码中注意力机制的实现基于 FeedForwardAttention，与 TextAttBiRNN 中的注意力机制相同。

HAN 的网络结构如下：

这里采用了 TimeDistributed 包装器，因为 Embedding、双向 RNN 和注意力层的参数预计需要在时间步维度上进行共享。

7 RCNN

RCNN 是在论文【用于文本分类的递归卷积神经网络】（https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9745/9552）中提出的。

7.1 论文中的描述

1. 词表示学习。RCNN 采用递归结构——一种双向递归神经网络——来捕捉词的上下文信息。随后，将词及其上下文结合起来，形成完整的词表示，并通过线性变换与 tanh 激活函数相结合，对表示进行处理。
2. 文本表示学习。当所有词的表示都计算完毕后，会应用一个逐元素最大池化层，以捕捉整段文本中最为重要的信息。最后，再进行线性变换并应用softmax函数。

7.2 实现方式

RCNN 的网络结构如下：

8 RCNN 变体

RCNN 变体是在 RCNN 基础上进行改进的模型，其主要改进点如下。目前尚未找到相关论文。

1. 将三个输入改为单个输入，去除了左右上下文的输入。
2. 使用双向 LSTM/GRU 替代传统的 RNN 来编码上下文信息。
3. 采用多通道 CNN 来表示语义向量。
4. 将 Tanh 激活层替换为ReLU 激活层。
5. 同时使用平均池化和最大池化。

RCNN 变体的网络结构如下：

待续...

参考文献

1. 【高效文本分类的“妙招”集锦】（https://arxiv.org/pdf/1607.01759.pdf）
2. 【Keras 示例：IMDB FastText】（https://github.com/keras-team/keras/blob/master/examples/imdb_fasttext.py）
3. 【用于句子分类的卷积神经网络】（http://www.aclweb.org/anthology/D14-1181）
4. 【Keras 示例：IMDB CNN】（https://github.com/keras-team/keras/blob/master/examples/imdb_cnn.py）
5. 【结合多任务学习的文本分类递归神经网络】（https://www.ijcai.org/Proceedings/16/Papers/408.pdf）
6. 【通过联合学习对齐与翻译实现神经机器翻译】（https://arxiv.org/pdf/1409.0473.pdf）
7. 【具有注意力机制的前馈神经网络能够解决部分长期记忆问题】（https://arxiv.org/pdf/1512.08756.pdf）
8. 【cbaziotis 的注意力机制】（https://gist.github.com/cbaziotis/6428df359af27d58078ca5ed9792bd6d）
9. 【用于文档分类的分层注意力网络】（http://www.aclweb.org/anthology/N16-1174）
10. 【Richard 的 HAN 网络】（https://richliao.github.io/supervised/classification/2016/12/26/textclassifier-HATN）
11. 【用于文本分类的递归卷积神经网络】（https://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9745/9552）
12. 【airalcorn2 的 RCNN】（https://github.com/airalcorn2/Recurrent-Convolutional-Neural-Network-Text-Classifier）

TextClassification-Keras 快速上手指南

本指南帮助开发者快速部署并使用 TextClassification-Keras 项目进行文本分类任务。该项目基于 Keras (TensorFlow 2.0) 实现了 FastText、TextCNN、TextRNN、HAN 等多种主流深度学习模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: 3.7
• 核心依赖:
  • NumPy 1.17.2
  • TensorFlow 2.0.1

国内加速建议：推荐使用清华或阿里镜像源安装依赖，以提升下载速度。

安装步骤

1. 克隆项目代码

   git clone https://github.com/your-repo/TextClassification-Keras.git
   cd TextClassification-Keras
   

2. 安装依赖包 建议使用虚拟环境，并使用国内镜像源安装指定版本的依赖：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若项目中无 requirements.txt，请直接运行以下命令安装指定版本：

   pip install numpy==1.17.2 tensorflow==2.0.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

项目中的所有模型代码均位于 /model 目录下，每个模型拥有独立的文件夹，包含模型定义文件和应用入口文件。

运行示例：FastText 模型

以 FastText 模型为例，其代码位于 /model/FastText 目录：

• 模型结构定义：fast_text.py
• 应用入口脚本：main.py

启动训练/测试：

进入对应模型目录并运行 main.py：

cd model/FastText
python main.py

切换其他模型

若要使用其他模型（如 TextCNN、TextBiRNN、HAN 等），只需进入对应的子目录并运行 main.py 即可。例如运行 TextCNN：

cd ../TextCNN
python main.py

注意：具体数据集路径和超参数配置请在各目录下的 main.py 或相关配置文件中进行调整。