基于深度学习的多标签文本分类

本仓库是我的研究项目，同时也是对 TensorFlow 和深度学习（Fasttext、CNN、LSTM 等）的学习实践。

该项目的主要目标是基于深度神经网络解决多标签文本分类问题。因此，根据此类问题的特点，数据标签的格式为 [0, 1, 0, ..., 1, 1]。

需求

• Python 3.6
• Tensorflow 1.15.0
• Tensorboard 1.15.0
• Sklearn 0.19.1
• Numpy 1.16.2
• Gensim 3.8.3
• Tqdm 4.49.0

项目结构

项目的目录结构如下：

.
├── Model
│   ├── test_model.py
│   ├── text_model.py
│   └── train_model.py
├── data
│   ├── word2vec_100.model.* [需要下载]
│   ├── Test_sample.json
│   ├── Train_sample.json
│   └── Validation_sample.json
└── utils
│   ├── checkmate.py
│   ├── data_helpers.py
│   └── param_parser.py
├── LICENSE
├── README.md
└── requirements.txt

创新点

数据部分

1. 支持 中文 和英文数据（可使用 jieba 或 nltk）。
2. 可使用 自定义预训练词向量（可使用 gensim）。
3. 基于 TensorBoard 添加嵌入可视化功能（需先创建 metadata.tsv 文件）。

模型部分

1. 添加正确的 L2 损失 计算操作。
2. 添加 梯度裁剪 操作以防止梯度爆炸。
3. 使用指数衰减法添加 学习率衰减。
4. 引入新的 高速公路层（经模型性能验证有效）。
5. 添加 批归一化层。

代码部分

1. 在 train.py 中可以选择直接 训练 模型，或从检查点 恢复 模型。
2. 在 train.py 和 test.py 中可通过 阈值 和 Top-K 预测标签。
3. 可计算评估指标 --- AUC 和 AUPRC。
4. 在 test.py 中可生成包含测试集预测值和预测标签的预测文件。
5. 在 data_helpers.py 中添加了其他有用的数据预处理函数。
6. 使用 logging 记录整个流程信息（包括 参数显示、模型训练信息 等）。
7. 在 checkmate.py 中提供了保存最佳 n 个检查点的功能，而 tf.train.Saver 只能保存最后 n 个检查点。

数据

数据格式请参见 /data 文件夹中的示例文件。例如：

{"testid": "3935745", "features_content": ["毛孔", "水", "压力", "计量", "装置", "包含", "压力", "计数器", "力", "计数器", "受...影响", "压力", "计数器", "装置", "包括", "动力", "部件", "布置", "控制", "压力", "施加", "压力", "计数器", "力", "计数器", "应用", "覆盖", "力", "压力", "计数器", "停止", "影响", "力", "计数器", "移除", "覆盖", "力", "压力", "计数器", "影响", "力", "计数器", "恢复"], "labels_index": [526, 534, 411], "labels_num": 3}

• "testid": 仅作为标识符。
• "features_content": 分词后的内容（已去除停用词）。
• "labels_index": 数据记录的标签索引。
• "labels_num": 标签数量。

文本分词

1. 处理英文文本时，可以使用 nltk 包。

2. 处理中文文本时，可以使用 jieba 包。

数据格式

本仓库可用于其他文本分类数据集，有两种方式：

1. 将您的数据集修改为与 示例 相同的格式。
2. 修改 data_helpers.py 中的数据预处理代码。

具体采用哪种方式，取决于您的数据和任务需求。

🤔在提交关于数据格式的新问题之前，请先查看 data_sample.json 并阅读已有的相关问题，因为可能已经有人问过类似的问题。例如：

• 输入文件的格式是什么样子的？
• 用于训练的数据集在哪里？
• 在 data_helpers.py 中的 content.txt 与 metadata.tsv 是什么，具体格式是什么，能否提供一个样例？

预训练词向量

您可以下载 Word2vec 模型文件（维度=100）。请确保解压后将其放置在 /data 文件夹中。

您可以通过多种方式预训练自己的词向量：

• 使用 gensim 包进行预训练。
• 使用 glove 工具进行预训练。
• 甚至可以使用 fasttext 网络进行预训练。

使用说明

请参阅 使用说明。

网络结构

FastText

参考文献：

• 高效文本分类技巧

---

TextANN

参考文献：

• 个人想法 🙃

---

TextCNN

参考文献：

• 用于句子分类的卷积神经网络
• 句子分类中卷积神经网络的敏感性分析及实践指南

---

TextRNN

警告：该模型可用，但尚未完成 🤪！

待办事项

1. 添加 BN-LSTM 单元。
2. 添加注意力机制。

参考文献：

• 多任务学习下的循环神经网络文本分类

---

TextCRNN

参考文献：

• 个人想法 🙃

---

TextRCNN

参考文献：

• 个人想法 🙃

---

TextHAN

参考文献：

• 用于文档分类的层次化注意力网络

---

TextSANN

警告：模型可以使用，但尚未完成 🤪！

待办事项

1. 添加注意力惩罚损失。
2. 添加可视化功能。

参考文献：

• 一种结构化的自注意力句子嵌入

---

关于我

黄威，兰道夫

西南交通大学计算机科学与技术学士；中国科学技术大学计算机科学博士。

邮箱：chinawolfman@hotmail.com

我的博客：randolph.pro

LinkedIn：兰道夫的LinkedIn

Multi-Label-Text-Classification 快速上手指南

本项目是一个基于深度学习的多标签文本分类工具，支持中文和英文数据处理，内置 FastText、CNN、LSTM、Highway Network 等多种模型结构。

1. 环境准备

系统要求

• 操作系统: Linux / macOS / Windows
• Python 版本: 3.6 (严格依赖)

前置依赖

请确保已安装以下核心库及其指定版本：

• TensorFlow 1.15.0
• Tensorboard 1.15.0
• Scikit-learn 0.19.1
• Numpy 1.16.2
• Gensim 3.8.3
• Tqdm 4.49.0

注意：本项目基于 TensorFlow 1.x 构建，请勿使用 TF 2.x 环境。

2. 安装步骤

第一步：克隆项目

git clone https://github.com/RandolphVI/Multi-Label-Text-Classification.git
cd Multi-Label-Text-Classification

第二步：安装 Python 依赖

建议使用国内镜像源加速安装（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

若自动安装失败，可手动指定版本安装：

pip install tensorflow==1.15.0 tensorboard==1.15.0 scikit-learn==0.19.1 numpy==1.16.2 gensim==3.8.3 tqdm==4.49.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：准备预训练词向量

项目默认需要 word2vec_100.model 文件。

1. 下载文件：从 Google Drive 链接 下载预训练模型。
2. 解压放置：将解压后的文件放入 /data 目录下，确保文件名匹配 word2vec_100.model.*。

或者使用 Gensim 自行训练词向量并保存至该目录。

第四步：准备数据

确保 /data 目录下包含符合格式的训练、验证和测试样本（Train_sample.json, Validation_sample.json, Test_sample.json）。 数据格式示例：

{"testid": "3935745", "features_content": ["word1", "word2"], "labels_index": [526, 534], "labels_num": 2}

• 中文处理：需先使用 jieba 对文本分词并去除停用词，再填入 features_content。
• 英文处理：需先使用 nltk 进行分词处理。

3. 基本使用

训练模型

运行 train_model.py 开始训练。可以通过参数选择模型类型（如 text_cnn, text_rnn 等）及是否加载断点续训。

python Model/train_model.py

常用配置提示（需在代码或命令行参数中调整）：

• 设置 restore_model=False 从头训练。
• 设置 restore_model=True 从 checkpoint 恢复训练。
• 日志和最佳模型检查点将自动保存。

测试与预测

运行 test_model.py 在测试集上评估模型性能（计算 AUC, AUPRC 等指标）并生成预测结果文件。

python Model/test_model.py

功能说明：

• 支持通过 阈值 (threshold) 或 Top-K 策略预测标签。
• 生成的预测文件将包含预测概率值及最终标签。
• 训练过程可通过 tensorboard --logdir=logs 查看可视化图表（需预先创建 metadata.tsv 以启用嵌入可视化）。

自定义模型

修改 Model/text_model.py 可切换或调整网络结构（支持 FastText, TextCNN, TextRNN, TextHAN 等）。