概述 | 教程 | 示例 | 安装 | 常见问题 | API 文档 | 引用方式

欢迎来到 ktrain

一个机器学习的"瑞士军刀"

最新动态

• 2024-02-20
  • ktrain 0.41.x 版本发布，移除了 ktrain.text.qa.generative_qa 模块。生成式问答（Generative Question-Answering）任务请使用我们的 OnPrem.LLM 包。参见示例笔记本。

---

概述

ktrain 是深度学习库 TensorFlow Keras（及其他库）的轻量级封装工具，旨在帮助构建、训练和部署神经网络及其他机器学习模型。受 fastai 和 ludwig 等机器学习框架扩展的启发，ktrain 致力于让深度学习和人工智能对新手和资深从业者都更易用、更易应用。仅需数行代码，ktrain 即可帮助您轻松快速地实现以下功能：

• 采用快速、准确且易于使用的预置模型处理 text（文本）、vision（视觉）、graph（图数据）和 tabular（表格）数据：
  • text 数据：
    • 文本分类：BERT、DistilBERT、NBSVM、fastText 及其他模型 _{^{[示例笔记本]}}
    • 文本回归：BERT、DistilBERT、基于嵌入的线性文本回归、fastText 及其他模型 _{^{[示例笔记本]}}
    • 序列标注（NER）：双向LSTM（可选CRF层）及多种嵌入方案，如预训练BERT和fasttext词向量及字符嵌入 _{^{[示例笔记本]}}
    • 开箱即用的英文、中文和俄文NER模型 无需训练 _{^{[示例笔记本]}}
    • 句子对分类 用于检测复述等任务 _{^{[示例笔记本]}}
    • 无监督主题建模 使用LDA _{^{[示例笔记本]}}
    • 基于单类学习的文档相似度：给定一些感兴趣的文档，使用单类文本分类方法查找并评分与之主题相似的新文档 _{^{[示例笔记本]}}
    • 文档推荐引擎与语义搜索：给定样本文档的文本片段，从更大语料库中推荐语义相关的文档 _{^{[示例笔记本]}}
    • 文本摘要：总结长文档 - 无需训练 _{^{[示例笔记本]}}
    • 抽取式问答：对大型文本语料库提问并使用BERT获取精确答案 _{^{[示例笔记本]}}
    • 生成式问答：对大型文本语料库提问，使用本地或OpenAI模型获取带引用的完整答案 _{^{[示例笔记本]}}
    • 易用的内置搜索引擎：对大量文档集合执行关键词搜索 _{^{[示例笔记本]}}
    • 零样本学习：无需训练样本即可将文档分类到用户提供的主题 _{^{[示例笔记本]}}
    • 语言翻译：将文本从一种语言翻译为另一种 _{^{[示例笔记本]}}
    • 文本提取：从PDF、Word文档等提取文本 _{^{[示例笔记本]}}
    • 语音转录：从音频文件提取文本 _{^{[示例笔记本]}}
    • 通用信息抽取：通过将需求转化为问题形式从文档中提取任意类型信息 _{^{[示例笔记本]}}
    • 关键词抽取：从文档中提取关键词 _{^{[示例笔记本]}}
    • 情感分析：封装预训练情感分析模型的易用接口 _{^{[示例笔记本]}}
    • 基于GPT的生成式AI：通过本地轻量级ChatGPT类模型执行指令解决各种任务 _{^{[示例笔记本]}}
  • vision 数据：
    • 图像分类（例如ResNet、Wide ResNet、Inception）_{^{[示例笔记本]}}
    • 图像回归 预测照片中的数值目标（如年龄预测）_{^{[示例笔记本]}}
    • 图像描述生成 使用预训练模型 _{^{[示例笔记本]}}
    • 目标检测 使用预训练模型 _{^{[示例笔记本]}}
  • graph 数据：
    • 节点分类 使用图神经网络（GraphSAGE）_{^{[示例笔记本]}}
    • 链接预测 使用图神经网络（GraphSAGE）_{^{[示例笔记本]}}
  • tabular 数据：
    • 表格分类（例如泰坦尼克号生存预测）_{^{[示例笔记本]}}
    • 表格回归（例如预测房价）_{^{[示例笔记本]}}
    • 因果推断 使用元学习器 _{^{[示例笔记本]}}

主要功能

• 使用学习率查找器（Learning Rate Finder）根据您的数据为模型估算最佳学习率
• 利用学习率调度策略，如三角策略（triangular policy）、单周期策略（1cycle policy）和热重启随机梯度下降（SGDR）有效最小化损失并提升泛化能力
• 构建任意语言的文本分类器（例如：使用BERT的阿拉伯语情感分析、使用NBSVM的中文情感分析）
• 轻松训练任意语言的命名实体识别（NER）模型（例如：荷兰语NER）
• 从多种格式加载和预处理文本与图像数据
• 检查分类错误的数据点并提供解释以帮助优化模型
• 利用简单预测API保存和部署模型及数据预处理步骤，对新原始数据进行预测
• 内置支持导出模型为ONNX和TensorFlow Lite（详见示例笔记本）

教程

请参考以下教程笔记本了解如何在项目中使用ktrain：

• 教程1：简介
• 教程2：调优学习率
• 教程3：图像分类
• 教程4：文本分类
• 教程5：从未标记文本数据学习
• 教程6：文本序列标注（用于命名实体识别）
• 教程7：图神经网络的图节点分类
• 教程8：表格分类与回归
• 教程A1：附加技巧（涵盖数据增强方案预览、调试时检查Keras模型中间输出、设置全局权重衰减，以及内置和自定义回调函数的使用）
• 教程A2：解释预测结果与误分类
• 教程A3：使用Hugging Face Transformers进行文本分类
• 教程A4：使用自定义数据格式和模型：带额外回归器的文本回归

以下是关于ktrain的一些博客教程和其他指南：

ktrain：用于Keras的轻量级封装工具，帮助训练神经网络

使用3行代码进行BERT文本分类

在TensorFlow 2中使用Hugging Face Transformers进行文本分类（无痛实践）

使用BERT构建开放领域问答系统（仅需3行代码）

使用ktrain对灾难推文进行BERT微调分类（作者：Hamiz Ahmed）

使用ktrain的印尼语NLP示例（作者：Sandy Khosasi）

示例

在Google Colab中使用ktrain？请参考以下Colab示例：

• 文本分类： 使用BERT进行多类文本分类的简单演示
• 文本分类： 使用Hugging Face Transformers进行多类文本分类的简单演示
• 序列标注（NER）： 使用transformer词嵌入的NER示例
• 问答系统： 使用20newsgroups数据集的端到端问答演示
• 图像分类： 猫狗图像分类演示

通过ktrain，文本分类和图像分类等任务只需几行代码即可完成。

示例：使用BERT对IMDb电影评论进行文本分类 _{^{[查看笔记本]}}

import ktrain
from ktrain import text as txt

# 加载数据
(x_train, y_train), (x_test, y_test), preproc = txt.texts_from_folder('data/aclImdb', maxlen=500,
                                                                     preprocess_mode='bert',
                                                                     train_test_names=['train', 'test'],
                                                                     classes=['pos', 'neg'])

# 加载模型
model = txt.text_classifier('bert', (x_train, y_train), preproc=preproc)

将模型和数据封装进ktrain.Learner对象

learner = ktrain.get_learner(model, train_data=(x_train, y_train), val_data=(x_test, y_test), batch_size=6)

寻找最佳学习率

learner.lr_find() # 通过简短的训练模拟寻找合适学习率 learner.lr_plot() # 通过可视化方式确定最佳学习率

使用1周期学习率策略训练3个epoch

learner.fit_onecycle(2e-5, 3)

#### 示例：使用预训练[ResNet50](https://arxiv.org/abs/1512.03385)模型对[犬猫图像](https://www.kaggle.com/c/dogs-vs-cats)进行分类 <sub><sup>[[查看笔记本](https://colab.research.google.com/drive/1WipQJUPL7zqyvLT10yekxf_HNMXDDtyR)]</sup></sub>
```python
import ktrain
from ktrain import vision as vis

# 加载数据
(train_data, val_data, preproc) = vis.images_from_folder(
                                              datadir='data/dogscats',
                                              data_aug = vis.get_data_aug(horizontal_flip=True),
                                              train_test_names=['train', 'valid'],
                                              target_size=(224,224), color_mode='rgb')

# 加载模型
model = vis.image_classifier('pretrained_resnet50', train_data, val_data, freeze_layers=80)

# 将模型和数据封装进ktrain.Learner对象
learner = ktrain.get_learner(model=model, train_data=train_data, val_data=val_data,
                             workers=8, use_multiprocessing=False, batch_size=64)

# 寻找最佳学习率
learner.lr_find()             # 通过简短的训练模拟寻找合适学习率
learner.lr_plot()             # 通过可视化方式确定最佳学习率

# 使用三角波策略训练，包含ModelCheckpoint和隐式的ReduceLROnPlateau及EarlyStopping
learner.autofit(1e-4, checkpoint_folder='/tmp/saved_weights')

示例：使用随机初始化的Bidirectional LSTM CRF模型进行命名实体识别 _{^{[查看笔记本]}}

import ktrain
from ktrain import text as txt

# 加载数据
(trn, val, preproc) = txt.entities_from_txt('data/ner_dataset.csv',
                                            sentence_column='Sentence #',
                                            word_column='Word',
                                            tag_column='Tag',
                                            data_format='gmb',
                                            use_char=True) # 启用字符嵌入

# 加载模型
model = txt.sequence_tagger('bilstm-crf', preproc)

# 将模型和数据封装进ktrain.Learner对象
learner = ktrain.get_learner(model, train_data=trn, val_data=val)


# 使用常规训练方式（1个epoch），学习率为0.001（Adam优化器的Keras默认值）
learner.fit(1e-3, 1)

示例：使用GraphSAGE模型在Cora引文图上进行节点分类 _{^{[查看笔记本]}}

import ktrain
from ktrain import graph as gr

# 加载数据（监督比例为10%）
(trn, val, preproc)  = gr.graph_nodes_from_csv(
                                               'cora.content', # 节点属性/标签
                                               'cora.cites',   # 边列表
                                               sample_size=20,
                                               holdout_pct=None,
                                               holdout_for_inductive=False,
                                              train_pct=0.1, sep='\t')

# 加载模型
model=gr.graph_node_classifier('graphsage', trn)

# 将模型和数据封装进ktrain.Learner对象
learner = ktrain.get_learner(model, train_data=trn, val_data=val, batch_size=64)


# 寻找最佳学习率
learner.lr_find(max_epochs=100) # 通过简短的训练模拟寻找合适学习率
learner.lr_plot()               # 通过可视化方式确定最佳学习率

# 使用三角波策略训练，包含ModelCheckpoint和隐式的ReduceLROnPlateau和EarlyStopping
learner.autofit(0.01, checkpoint_folder='/tmp/saved_weights')

示例：使用Hugging Face Transformers在20新闻组数据集上进行文本分类（使用DistilBERT模型） _{^{[查看笔记本]}}

# 加载文本数据
categories = ['alt.atheism', 'soc.religion.christian','comp.graphics', 'sci.med']
from sklearn.datasets import fetch_20newsgroups
train_b = fetch_20newsgroups(subset='train', categories=categories, shuffle=True)
test_b = fetch_20newsgroups(subset='test',categories=categories, shuffle=True)
(x_train, y_train) = (train_b.data, train_b.target)
(x_test, y_test) = (test_b.data, test_b.target)

# 构建、训练和验证模型（Transformer是对transformers库的封装）
import ktrain
from ktrain import text
MODEL_NAME = 'distilbert-base-uncased'
t = text.Transformer(MODEL_NAME, maxlen=500, class_names=train_b.target_names)
trn = t.preprocess_train(x_train, y_train)
val = t.preprocess_test(x_test, y_test)
model = t.get_classifier()
learner = ktrain.get_learner(model, train_data=trn, val_data=val, batch_size=6)
learner.fit_onecycle(5e-5, 4)
learner.validate(class_names=t.get_classes()) # class_names必须为字符串类型

# learner.validate()的输出结果
#                        precision    recall  f1-score   support
#
#           alt.atheism       0.92      0.93      0.93       319
#         comp.graphics       0.97      0.97      0.97       389
#               sci.med       0.97      0.95      0.96       396
#soc.religion.christian       0.96      0.96      0.96       398
#
#              accuracy                           0.96      1502
#             macro avg       0.95      0.96      0.95      1502
#          weighted avg       0.96      0.96      0.96      1502