TextCNN PyTorch 实现 中文文本分类

论文

用于句子分类的卷积神经网络

参考

• https://github.com/yoonkim/CNN_sentence
• https://github.com/dennybritz/cnn-text-classification-tf
• https://github.com/Shawn1993/cnn-text-classification-pytorch

依赖项

• python3.5
• pytorch==1.0.0
• torchtext==0.3.1
• jieba==0.39

词向量

https://github.com/Embedding/Chinese-Word-Vectors
（这里用的是Zhihu_QA 知乎问答训练出来的word Word2vec）

使用方法

python3 main.py -h

训练

python3 main.py

准确率

• CNN-rand 随机初始化Embedding

    python main.py
  

    第1800批 - 损失: 0.009499  准确率: 100.0000%(128/128)
    评估 - 损失: 0.000026  准确率: 94.0000%(6616/7000)
    因1000步未改善而提前停止，准确率为94.0000%
  

• CNN-static 使用预训练的静态词向量

    python main.py -static=true
  

    第1900批 - 损失: 0.011894  准确率: 100.0000%(128/128)
    评估 - 损失: 0.000018  准确率: 95.0000%(6679/7000)
    因1000步未改善而提前停止，准确率为95.0000%
  

• CNN-non-static 微调预训练的词向量

    python main.py -static=true -non-static=true
  

    第1500批 - 损失: 0.008823  准确率: 99.0000%(127/128))
    评估 - 损失: 0.000016  准确率: 96.0000%(6729/7000)
    因1000步未改善而提前停止，准确率为96.0000%
  

• CNN-multichannel 微调加静态

    python main.py -static=true -non-static=true -multichannel=true
  

    第1500批 - 损失: 0.023020  准确率: 98.0000%(126/128))
    评估 - 损失: 0.000016  准确率: 96.0000%(6744/7000)
    因1000步未改善而提前停止，准确率为96.0000%
  

chinese_text_cnn 快速上手指南

本工具是基于 PyTorch 实现的中文文本分类模型（TextCNN），支持随机初始化、静态词向量、微调及多通道等多种训练模式。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3.5+
• 核心依赖：
  • pytorch==1.0.0
  • torchtext==0.3.1
  • jieba==0.39 (用于中文分词)

提示：建议在国内开发环境中使用清华或阿里镜像源加速依赖安装。

安装步骤

1. 克隆项目代码

   git clone <项目仓库地址>
   cd chinese_text_cnn
   

2. 安装 Python 依赖 推荐使用国内镜像源安装所需库：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若项目中无 requirements.txt，请手动执行：

   pip install torch==1.0.0 torchtext==0.3.1 jieba==0.39 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备词向量（可选但推荐） 为了获得更好的分类效果，建议下载预训练的中文词向量（如知乎问答数据集训练的 Word2vec）：

   • 下载地址：Chinese-Word-Vectors
   • 将下载好的词向量文件放置在项目指定的数据目录中（具体路径请参考项目内数据加载逻辑）。

基本使用

1. 查看帮助信息

了解所有可用参数及用法：

python3 main.py -h

2. 开始训练

运行默认配置进行训练（采用随机初始化的 Embedding）：

python3 main.py

3. 进阶训练模式

根据需求选择不同的词向量策略：

• 使用预训练静态词向量 (CNN-static)

  python main.py -static=true
  

• 微调预训练词向量 (CNN-non-static)

  python main.py -static=true -non-static=true
  

• 多通道模式：微调 + 静态 (CNN-multichannel)

  python main.py -static=true -non-static=true -multichannel=true
  

训练过程中会自动输出 Loss 和准确率（acc），并在达到早停条件（early stop）后结束训练。