Keras-TextClassification

安装

pip install Keras-TextClassification

步骤2：下载并解压‘data.rar’文件，地址：链接：https://pan.baidu.com/s/1pIDzGaGXCZ7cjng1XU_kPA   提取码：w6ps   压缩包密码: 2022
       将data目录覆盖到anaconda中，例如：'/anaconda/3.5.1/envs/tensorflow13/Lib/site-packages/keras_textclassification/data'
步骤3：前往 # 训练与使用 和 预测与使用

keras_textclassification（代码主体,未完待续...）

- Electra-fineture(todo)
- Albert-fineture
- Xlnet-fineture
- Bert-fineture
- FastText
- TextCNN
- charCNN
- TextRNN
- TextRCNN
- TextDCNN
- TextDPCNN
- TextVDCNN
- TextCRNN
- DeepMoji
- SelfAttention
- HAN
- CapsuleNet
- Transformer-encode
- SWEM
- LEAM
- TextGCN(todo)

运行（以FastText为例）

- 1. 进入keras_textclassification/m01_FastText目录，
- 2. 训练：运行 train.py，例如：python train.py
- 3. 预测：运行 predict.py，例如：python predict.py
- 说明：默认不带预训练的随机嵌入，训练和验证语料只有100条，完整语料移步下面data查看下载

运行（多标签分类/Embedding/test/sample实例）

- bert、word2vec、random样例在test/目录下，注意word2vec（char或word）、random-word、bert（chinese_L-12_H-768_A-12）未全部加载，需要下载
- multi_multi_class/目录下以text-cnn为例进行多标签分类实例，转化为multi-onehot标签类别，分类则取一定阀值的类
- sentence_similarity/目录下以bert为例进行两个句子文本相似度计算，数据格式如data/sim_webank/目录下所示
- predict_bert_text_cnn.py
- tet_char_bert_embedding.py
- tet_char_bert_embedding.py
- tet_char_xlnet_embedding.py
- tet_char_random_embedding.py
- tet_char_word2vec_embedding.py
- tet_word_random_embedding.py
- tet_word_word2vec_embedding.py

keras_textclassification/data

- 数据下载
  ** github项目中只是上传部分数据，需要的前往链接：https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码： rket
- baidu_qa_2019（百度qa问答语料，只取title作为分类样本，17个类，有一个是空''，已经压缩上传）
   - baike_qa_train.csv
   - baike_qa_valid.csv
- byte_multi_news（今日头条2018新闻标题多标签语料，1070个标签，fate233爬取，地址为：[byte_multi_news](https://github.com/fate233/toutiao-multilevel-text-classfication-dataset)）
   - labels.csv
   - train.csv
   - valid.csv
- embeddings
   - chinese_L-12_H-768_A-12/（取谷歌预训练好点的模型，已经压缩上传，
                              keras-bert还可以加载百度版ernie（需转换，[https://github.com/ArthurRizar/tensorflow_ernie](https://github.com/ArthurRizar/tensorflow_ernie)),
                              哈工大版bert-wwm（tf框架，[https://github.com/ymcui/Chinese-BERT-wwm](https://github.com/ymcui/Chinese-BERT-wwm））
   - albert_base_zh/（brightmart训练的albert，地址为https://github.com/brightmart/albert_zh）
   - chinese_xlnet_base_L-12_H-768_A-12/（哈工大预训练的中文xlnet模型[https://github.com/ymcui/Chinese-PreTrained-XLNet]，12层）
   - term_char.txt（已经上传，项目中已全，wiki字典，还可用新华字典等）
   - term_word.txt（未上传，项目中只有部分，可参考词向量的）
   - w2v_model_merge_short.vec（未上传，项目中只有部分，词向量，可以用自己的）
   - w2v_model_wiki_char.vec（已上传百度网盘，项目中只有部分，自己训练的维基百科字向量，可以用自己的）
- model
   - fast_text/预训练模型存放地址

项目说明

• 1. 构建了base基类（网络(graph)、向量嵌入（词、字、句子embedding）），后边的具体模型继承它们，代码简单
• 2. keras_layers存放一些常用的layer，conf存放项目数据、模型的地址，data存放数据和语料，data_preprocess为数据预处理模块,

模型与论文paper题与地址

• FastText: Bag of Tricks for Efficient Text Classification
• TextCNN： Convolutional Neural Networks for Sentence Classification
• charCNN-kim： Character-Aware Neural Language Models
• charCNN-zhang: Character-level Convolutional Networks for Text Classification
• TextRNN： Recurrent Neural Network for Text Classification with Multi-Task Learning
• RCNN： Recurrent Convolutional Neural Networks for Text Classification
• DCNN: A Convolutional Neural Network for Modelling Sentences
• DPCNN: Deep Pyramid Convolutional Neural Networks for Text Categorization
• VDCNN: Very Deep Convolutional Networks
• CRNN: A C-LSTM Neural Network for Text Classification
• DeepMoji: Using millions of emojio ccurrences to learn any-domain represent ations for detecting sentiment, emotion and sarcasm
• SelfAttention: Attention Is All You Need
• HAN: Hierarchical Attention Networks for Document Classification
• CapsuleNet: Dynamic Routing Between Capsules
• Transformer（encode或decode）：Attention Is All You Need
• Bert： BERT: Pre-trainingofDeepBidirectionalTransformersfor LanguageUnderstanding
• Xlnet： XLNet: Generalized Autoregressive Pretraining for Language Understanding
• Albert： ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
• RoBERTa： RoBERTa: A Robustly Optimized BERT Pretraining Approach
• ELECTRA： ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
• TextGCN： Graph Convolutional Networks for Text Classification

参考/感谢

• 文本分类项目: https://github.com/mosu027/TextClassification
• 文本分类看山杯: https://github.com/brightmart/text_classification
• Kashgari项目: https://github.com/BrikerMan/Kashgari
• 文本分类Ipty : https://github.com/lpty/classifier
• keras文本分类: https://github.com/ShawnyXiao/TextClassification-Keras
• keras文本分类: https://github.com/AlexYangLi/TextClassification
• CapsuleNet模型: https://github.com/bojone/Capsule
• transformer模型: https://github.com/CyberZHG/keras-transformer
• keras_albert_model: https://github.com/TinkerMob/keras_albert_model

训练简单调用:

from keras_textclassification import train
train(graph='TextCNN', # 必填, 算法名, 可选"ALBERT","BERT","XLNET","FASTTEXT","TEXTCNN","CHARCNN",
                       # "TEXTRNN","RCNN","DCNN","DPCNN","VDCNN","CRNN","DEEPMOJI",
                       # "SELFATTENTION", "HAN","CAPSULE","TRANSFORMER"
     label=17,         # 必填, 类别数, 训练集和测试集合必须一样
     path_train_data=None, # 必填, 训练数据文件, csv格式, 必须含'label,ques'头文件, 详见keras_textclassification/data
     path_dev_data=None, # 必填, 测试数据文件, csv格式, 必须含'label,ques'头文件, 详见keras_textclassification/data
     rate=1,             # 可填, 训练数据选取比例
     hyper_parameters=None) # 可填, json格式, 超参数, 默认embedding为'char','random'

参考文献

如需引用本项目，可参考以下 BibTeX 格式：

@misc{Keras-TextClassification,
    howpublished = {\url{https://github.com/yongzhuo/Keras-TextClassification}},
    title = {Keras-TextClassification},
    author = {Yongzhuo Mo},
    publisher = {GitHub},
    year = {2019}
}

*希望对你有所帮助!

Keras-TextClassification 快速上手指南

Keras-TextClassification 是一个基于 Keras 的文本分类工具库，集成了 FastText、TextCNN、BERT、ALBERT、XLNet 等多种主流模型，支持单标签及多标签分类任务。

1. 环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：建议 Python 3.5+
• 核心依赖：
  • TensorFlow (兼容 TF 1.x 或 2.x，视具体模型而定)
  • Keras
  • NumPy, Pandas 等基础科学计算库

2. 安装步骤

2.1 安装主程序包

使用 pip 直接安装：

pip install Keras-TextClassification

2.2 下载数据与预训练模型（重要）

由于项目包含大量测试语料和预训练权重（如 BERT、Word2Vec 等），GitHub 仓库仅包含部分示例数据。国内用户请优先使用百度网盘下载完整数据包。

1. 下载地址：

   • 链接：https://pan.baidu.com/s/1pIDzGaGXCZ7cjng1XU_kPA
   • 提取码：w6ps
   • 压缩包密码：2022
   • (备用数据链接：https://pan.baidu.com/s/1I3vydhmFEQ9nuPG2fDou8Q 提取码：rket)

2. 部署路径： 下载 data.rar 并解压，将生成的 data 文件夹覆盖到安装目录中。

   • 典型路径示例：/anaconda/3.5.1/envs/tensorflow13/Lib/site-packages/keras_textclassification/data
   • 请根据您实际的 Python 环境路径进行调整，确保 keras_textclassification 包下存在 data 目录。

3. 基本使用

本库支持两种使用方式：命令行运行示例 和 Python 代码调用。

3.1 命令行运行（以 FastText 为例）

进入库中的示例目录，直接运行训练和预测脚本：

# 1. 进入示例目录
cd keras_textclassification/m01_FastText

# 2. 执行训练 (默认使用少量样本测试，完整数据需参考上述下载步骤)
python train.py

# 3. 执行预测
python predict.py

3.2 Python 代码调用（推荐）

通过 train 接口可快速启动训练流程。以下是一个基于 TextCNN 模型的极简示例：

from keras_textclassification import train

train(
    graph='TextCNN',          # [必填] 模型名称，可选: "ALBERT", "BERT", "FASTTEXT", "TEXTCNN" 等
    label=17,                 # [必填] 分类类别数量 (需与数据集一致)
    path_train_data=None,     # [必填] 训练集路径 (CSV 格式，需含 'label', 'ques' 表头)
    path_dev_data=None,       # [必填] 验证集路径 (CSV 格式，需含 'label', 'ques' 表头)
    rate=1,                   # [可选] 训练数据采样比例，默认 1 (全量)
    hyper_parameters=None     # [可选] 超参数字典 (JSON 格式)，默认使用 char + random embedding
)

数据格式说明： 输入数据需为 CSV 格式，且必须包含 label (标签) 和 ques (文本内容) 两列。若未指定路径，程序将尝试读取默认 data 目录下的示例数据（如 baidu_qa_2019）。

3.3 其他高级场景

项目 test/ 目录下提供了更多进阶示例，包括：

• 多标签分类：参考 multi_multi_class/ 目录 (基于 TextCNN)。
• 文本相似度计算：参考 sentence_similarity/ 目录 (基于 BERT)。
• 不同 Embedding 测试：支持 Word2Vec、BERT、XLNet、Random 等多种嵌入方式，详见 tet_*.py 系列脚本。