文本分类

使用 TensorFlow 实现一些最先进的文本分类模型。

需求

• Python3
• TensorFlow >= 1.4

注意：原始代码是用 TensorFlow 1.4 编写的，但由于 VocabularyProcessor 已被弃用，更新后的代码改用 tf.keras.preprocessing.text 进行预处理。新的预处理函数名为 data_preprocessing_v2。

数据集

你可以通过以下方式加载数据：

dbpedia = tf.contrib.learn.datasets.load_dataset('dbpedia', test_with_fake_data=FLAGS.test_with_fake_data)

或者从 百度网盘 下载。

注意力就是你需要的一切

论文：Attention Is All You Need

请参阅 multi_head.py 文件。

在该实现中，使用自注意力机制，其中 Query = Key = Value = 经过词嵌入后的句子。

多头注意力模块由 Kyubyong 实现。

IndRNN 用于文本分类

论文：独立循环神经网络（IndRNN）：构建更长、更深的 RNN

IndRNNCell 由 batzener 实现。

基于注意力的双向 LSTM 用于文本分类

论文：基于注意力的双向长短时记忆网络用于关系分类

请参阅 attn_bi_lstm.py 文件。

层次化注意力网络用于文本分类

论文：用于文档分类的层次化注意力网络

请参阅 attn_lstm_hierarchical.py 文件。

注意力模块由 ilivans/tf-rnn-attention 实现。

有监督文本分类的对抗训练方法

论文：半监督文本分类的对抗训练方法

请参阅 adversrial_abblstm.py 文件。

用于句子分类的卷积神经网络

论文：用于句子分类的卷积神经网络

请参阅 cnn.py 文件。

RMDL：用于分类的随机多模型深度学习

论文：RMDL：用于分类的随机多模型深度学习

请参阅 RMDL.py 文件。

更多信息请访问 RMDL GitHub 仓库。

注意：这些参数并未经过精细调优，你可以根据需要修改超参数。

性能

模型	测试准确率	备注
基于注意力的双向 LSTM	98.23%
HAN	89.15%	1080Ti，10轮，12分钟
对抗性基于注意力的双向 LSTM	98.5%	AWS p2，2小时
IndRNN	98.39%	1080Ti，10轮，10分钟
注意力就是你需要的一切	97.81%	1080Ti，15轮，8分钟
RMDL	98.91%	2X Tesla Xp（3个 RDL）
CNN	98.37%

欢迎贡献

如果你实现了性能优异的模型，欢迎提交贡献。此外，如果在项目中遇到任何问题，我也很乐意提供帮助，请随时提出 issue。

Text-Classification 快速上手指南

本指南帮助开发者快速使用基于 TensorFlow 的先进文本分类模型库。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Python 3 的 Linux、macOS 或 Windows 系统
• Python 版本：Python 3.x
• 深度学习框架：TensorFlow >= 1.4
  • 注意：原始代码基于 TensorFlow 1.4 编写。由于 VocabularyProcessor 已被弃用，更新后的代码改用 tf.keras.preprocessing.text 进行预处理（新函数名为 data_preprocessing_v2）。

安装步骤

1. 克隆项目代码 将仓库克隆到本地：

   git clone <repository_url>
   cd Text-Classification
   

2. 安装依赖 确保已安装 TensorFlow 1.4 或更高版本。推荐使用国内镜像源加速安装：

   pip install tensorflow>=1.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若需其他特定依赖，请根据项目根目录下的 requirements.txt 进行安装)

3. 获取数据集 本项目支持自动加载 DBPedia 数据集，也提供百度网盘下载链接以应对网络限制。

   • 方式一：代码自动加载 在代码中通过以下语句加载（支持假数据测试）：

     dbpedia = tf.contrib.learn.datasets.load_dataset('dbpedia', test_with_fake_data=FLAGS.test_with_fake_data)
     

   • 方式二：手动下载（推荐国内用户） 访问 百度网盘链接 下载数据，并放置于项目指定的数据目录中。

基本使用

本项目实现了多种 SOTA 模型，您可以根据需求选择对应的脚本运行。以下以 CNN (卷积神经网络) 模型为例展示最简使用流程：

1. 选择模型脚本 根据下表选择对应的 .py 文件：

   模型名称	对应脚本文件	论文参考
   CNN	cnn.py	Convolutional Neural Networks for Sentence Classification
   Attention Bi-LSTM	attn_bi_lstm.py	Attention-Based Bidirectional LSTM
   HAN (层级注意力)	attn_lstm_hierarchical.py	Hierarchical Attention Networks
   Transformer	multi_head.py	Attention Is All You Need
   IndRNN	(需引入 IndRNNCell)	Independently Recurrent Neural Network
   RMDL	RMDL.py	Random Multimodel Deep Learning
   对抗训练 Bi-LSTM	adversrial_abblstm.py	Adversarial Training Methods

2. 运行模型 直接在终端运行选定的脚本。参数未进行精细调优，您可以直接运行或修改内核参数：

   python cnn.py
   

   若要使用更新后的预处理函数（兼容新版 TensorFlow），请确保代码中调用的是 data_preprocessing_v2。

3. 查看结果 程序运行结束后，终端将输出测试集准确率（Test Accuracy）。参考性能如下：

   • RMDL: ~98.91%
   • Adversarial Attention-based Bi-LSTM: ~98.5%
   • IndRNN: ~98.39%
   • CNN: ~98.37%

提示：所有模型参数均未针对特定任务进行微调，欢迎根据实际业务场景修改代码中的超参数以获得更佳效果。