中文文本分类-Pytorch

中文文本分类，TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention, DPCNN, Transformer, 基于pytorch，开箱即用。

介绍

模型介绍、数据流动过程：我的博客

数据以字为单位输入模型，预训练词向量使用 搜狗新闻 Word+Character 300d，点这里下载

环境

python 3.7
pytorch 1.1
tqdm
sklearn
tensorboardX

中文数据集

我从THUCNews中抽取了20万条新闻标题，已上传至github，文本长度在20到30之间。一共10个类别，每类2万条。

类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。

数据集划分：

数据集	数据量
训练集	18万
验证集	1万
测试集	1万

更换自己的数据集

• 如果用字，按照我数据集的格式来格式化你的数据。
• 如果用词，提前分好词，词之间用空格隔开，python run.py --model TextCNN --word True
• 使用预训练词向量：utils.py的main函数可以提取词表对应的预训练词向量。

效果

模型	acc	备注
TextCNN	91.22%	Kim 2014 经典的CNN文本分类
TextRNN	91.12%	BiLSTM
TextRNN_Att	90.90%	BiLSTM+Attention
TextRCNN	91.54%	BiLSTM+池化
FastText	92.23%	bow+bigram+trigram， 效果出奇的好
DPCNN	91.25%	深层金字塔CNN
Transformer	89.91%	效果较差
bert	94.83%	bert + fc
ERNIE	94.61%	比bert略差(说好的中文碾压bert呢)

bert和ERNIE模型代码我放到另外一个仓库了，传送门：Bert-Chinese-Text-Classification-Pytorch，后续还会搞一些bert之后的东西，欢迎star。

使用说明

# 训练并测试：
# TextCNN
python run.py --model TextCNN

# TextRNN
python run.py --model TextRNN

# TextRNN_Att
python run.py --model TextRNN_Att

# TextRCNN
python run.py --model TextRCNN

# FastText, embedding层是随机初始化的
python run.py --model FastText --embedding random 

# DPCNN
python run.py --model DPCNN

# Transformer
python run.py --model Transformer

参数

模型都在models目录下，超参定义和模型定义在同一文件中。

对应论文

[1] Convolutional Neural Networks for Sentence Classification
[2] Recurrent Neural Network for Text Classification with Multi-Task Learning
[3] Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification
[4] Recurrent Convolutional Neural Networks for Text Classification
[5] Bag of Tricks for Efficient Text Classification
[6] Deep Pyramid Convolutional Neural Networks for Text Categorization
[7] Attention Is All You Need

Chinese-Text-Classification-Pytorch 快速上手指南

本项目基于 PyTorch 实现了多种经典的中文文本分类模型（如 TextCNN, TextRNN, FastText, BERT 等），开箱即用，适合快速验证算法效果。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.7
• 核心依赖：
  • PyTorch 1.1+
  • tqdm (进度条)
  • sklearn (评估指标)
  • tensorboardX (可视化训练过程)

提示：国内用户建议使用清华源或阿里源加速安装依赖： pip install torch torchvision tqdm scikit-learn tensorboardX -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

第一步：克隆项目

git clone https://github.com/649453932/Chinese-Text-Classification-Pytorch.git
cd Chinese-Text-Classification-Pytorch

第二步：下载预训练词向量

本项目默认使用字级别输入，需下载搜狗新闻的预训练词向量（Word+Character 300d）。

• 下载地址：百度网盘链接
• 操作：下载后解压，将生成的 sgns.sogou.char 文件放入项目根目录（或与代码同级目录）。

注意：项目中已内置了从 THUCNews 抽取的 20 万条新闻标题数据集（10 个类别），无需额外下载即可直接运行。若需使用自定义数据集，请参考 README 中的格式要求进行调整。

3. 基本使用

项目封装了统一的启动脚本 run.py，通过指定 --model 参数即可切换不同的模型进行训练和测试。

运行示例

1. 运行 TextCNN 模型

python run.py --model TextCNN

2. 运行 TextRNN (BiLSTM) 模型

python run.py --model TextRNN

3. 运行 FastText 模型

注意：FastText 默认 embedding 层随机初始化，若需使用预训练向量可调整参数。

python run.py --model FastText --embedding random

4. 运行其他模型

# TextRNN + Attention
python run.py --model TextRNN_Att

# TextRCNN
python run.py --model TextRCNN

# DPCNN
python run.py --model DPCNN

# Transformer
python run.py --model Transformer

查看结果

运行结束后，终端将输出模型在测试集上的准确率（Acc）。同时，训练过程中的 Loss 和 Acc 曲线可通过 TensorBoard 查看（需安装并运行 tensorboard --logdir=runs）。

进阶提示：若需使用 BERT 或 ERNIE 模型（准确率可达 94%+），请移步作者的另一仓库：Bert-Chinese-Text-Classification-Pytorch。