喀什噶里

概述 | 性能 | 安装 | 文档 | 贡献

🎉🎉🎉 我们发布了支持 TF2 的 2.0.0 版本。🎉🎉🎉

如果您在研究中使用了本项目，请引用以下文献：

@misc{Kashgari
  author = {Eliyar Eziz},
  title = {Kashgari},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/BrikerMan/Kashgari}}
}

概述

Kashgari 是一个简单而强大的 NLP 迁移学习框架，能够在 5 分钟内为命名实体识别 (NER)、词性标注 (PoS) 和文本分类任务构建最先进的模型。

• 易于上手。Kashgari 的代码简洁明了，文档齐全且经过充分测试，因此非常容易理解和修改。
• 强大且简单。Kashgari 允许您将最先进的自然语言处理 (NLP) 模型应用于您的文本数据，例如命名实体识别 (NER)、词性标注 (PoS) 和分类任务。
• 内置迁移学习。Kashgari 内置了预训练的 BERT 和 Word2vec 嵌入模型，使得迁移学习和训练自定义模型变得非常简单。
• 完全可扩展。Kashgari 提供了一个简单、快速且可扩展的环境，方便您进行快速实验、训练模型以及尝试不同的嵌入方式和模型结构。
• 生产就绪。Kashgari 可以将模型导出为 TensorFlow Serving 所需的 SavedModel 格式，您可以直接将其部署到云端。

我们的目标

• 学术用户：无需从头编写代码即可轻松验证假设。
• NLP 初学者：学习如何以生产级代码质量构建 NLP 项目。
• NLP 开发人员：在几分钟内构建生产级别的分类/标注模型。

性能

欢迎添加性能报告。

任务	语言	数据集	分数
命名实体识别	中文	人民日报 NER 语料库	95.57
文本分类	中文	SMP2018ECDTCorpus	94.57

安装

该项目基于 Python 3.6+，因为现在是 2019 年，类型提示很酷。

后端	kashgari 版本	描述
TensorFlow 2.2+	pip install 'kashgari>=2.0.2'	TF2.10+ 使用 tf.keras
TensorFlow 1.14+	pip install 'kashgari>=1.0.0,<2.0.0'	TF1.14+ 使用 tf.keras
Keras	pip install 'kashgari<1.0.0'	keras 版本

您还需要为 TensorFlow 安装 tensorflow_addons。

TensorFlow 版本	tensorflow_addons 版本
TensorFlow 2.1	pip install tensorflow_addons==0.9.1
TensorFlow 2.2	pip install tensorflow_addons==0.11.2
TensorFlow 2.3, 2.4, 2.5	pip install tensorflow_addons==0.13.0

教程

这里有一系列快速教程，帮助您入门该库：

• 教程 1：文本分类
• 教程 2：文本标注
• 教程 3：Seq2Seq
• 教程 4：语言嵌入

此外，还有一些文章和帖子介绍了如何使用 Kashgari：

• 基于 Kashgari 2 的短文本分类：数据分析和预处理
• 基于 Kashgari 2 的短文本分类：训练模型和调优
• 基于 Kashgari 2 的短文本分类：模型部署
• 15 分钟搭建中文文本分类模型
• 基于 BERT 的中文命名实体识别（NER)
• BERT/ERNIE 文本分类和部署
• 五分钟搭建一个基于BERT的NER模型
• 使用 Kashgari 在15分钟内完成多分类文本分类

示例：

• 使用 Seq2Seq 进行神经机器翻译

贡献者 ✨

感谢这些杰出的人士。参与的方式有很多。请先阅读贡献指南，然后查看这些开放的问题以获取具体的任务。

Kashgari 快速上手指南

Kashgari 是一个简单且强大的 NLP 迁移学习框架，旨在帮助开发者在 5 分钟内构建用于命名实体识别（NER）、词性标注（PoS）和文本分类任务的先进模型。它内置了 BERT 和 Word2vec 等预训练嵌入模型，支持 TensorFlow 2.x，并可直接导出为 SavedModel 格式用于生产部署。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：3.6 或更高版本
• 后端依赖：
  • 推荐使用 TensorFlow 2.2+ (配合 tf.keras)
  • 需额外安装 tensorflow_addons，版本需与 TensorFlow 严格对应

版本对应关系表：

TensorFlow 版本	tensorflow_addons 版本	Kashgari 版本要求
TensorFlow 2.1	tensorflow_addons==0.9.1	>=2.0.2
TensorFlow 2.2	tensorflow_addons==0.11.2	>=2.0.2
TensorFlow 2.3 - 2.5	tensorflow_addons==0.13.0	>=2.0.2

提示：国内用户建议使用清华源或阿里源加速 pip 安装。

安装步骤

请根据你的 TensorFlow 版本选择对应的安装命令。以下以 TensorFlow 2.2+ 为例：

1. 安装 TensorFlow 和 addons

   pip install tensorflow==2.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   pip install tensorflow_addons==0.11.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

2. 安装 Kashgari

   pip install 'kashgari>=2.0.2' -i https://pypi.tuna.tsinghua.edu.cn/simple
   

注：若使用其他 TF 版本，请参照上方表格调整 tensorflow 和 tensorflow_addons 的版本号。

基本使用

以下是一个最简单的文本分类示例，展示如何在几分钟内完成数据加载、模型构建、训练和评估。

import kashgari
from kashgari.corpus import SMP2018ECDTCorpus
from kashgari.tasks.classification import BiLSTM_Model

# 1. 准备数据 (使用内置的中文短文本分类数据集)
train_x, train_y = SMP2018ECDTCorpus.load_data('train')
valid_x, valid_y = SMP2018ECDTCorpus.load_data('valid')

# 2. 构建模型 (使用 BiLSTM 架构，自动处理嵌入层)
model = BiLSTM_Model()

# 3. 训练模型
model.fit(train_x, train_y, valid_x, valid_y)

# 4. 评估模型
model.evaluate(valid_x, valid_y)

# 5. 预测新数据
sample_data = ["这书真不错，推荐购买", "质量太差了，非常失望"]
predictions = model.predict(sample_data)
print(predictions)

# 6. 保存模型 (可用于 TensorFlow Serving 部署)
model.save('my_text_classification_model')

核心特点说明：

• 开箱即用：SMP2018ECDTCorpus 是内置数据集，实际使用时可替换为自己的列表数据。
• 自动迁移学习：模型默认支持加载预训练权重（如 BERT），只需在初始化时指定 embedding_model='bert' 即可。
• 生产就绪：通过 model.save() 导出的模型可直接部署到云端或本地服务。