适用于 Python3 的模块化主动学习框架

页面内容

• 简介
• 从宏观视角看主动学习
• modAL实战
  • 几行代码实现从零到一
  • 快速替换组件
  • 用自定义方案替换组件
  • 主动回归示例
  • 更多示例
• 安装
• 文档
• 引用
• 关于开发者

简介

modAL 是一个专为 Python3 设计的主动学习框架，其核心理念是模块化、灵活性和可扩展性。该框架基于 scikit-learn 构建，使您能够以几乎完全自由的方式快速搭建主动学习工作流。此外，您可以轻松地用自定义解决方案替换现有组件，从而轻松设计出新颖的算法。

从宏观视角看主动学习

随着可用数据的激增，您可能拥有数百万条未标注的数据，而获取这些标签的成本却非常高昂。例如，在预测推文情感时，构建训练集往往需要大量的人工劳动。不过别担心，主动学习正是解决这一问题的利器！一般来说，主动学习是一种通过智能地选择最具信息量的样本进行标注，从而提升分类性能的方法。举个例子，假设您有如下数据和分类器，其中阴影区域表示分类概率。

假设您可以查询某个未标注样本的标签，但代价不菲。那么您会选择哪一个呢？显然，在不确定性较高的区域进行查询，比随机选择能获得更多信息。主动学习为您提供了一套工具来应对这类问题。通常，主动学习的工作流程如下所示。

任何工作流的关键组成部分包括您选择的模型、使用的不确定性度量以及用于请求标签的查询策略。借助 modAL，您不必局限于少量内置组件，而是可以无缝集成 scikit-learn 或 Keras 模型，并轻松定制自己的查询策略和不确定性度量。

modAL实战

让我们来看看 modAL 能为您做些什么！

几行代码实现从零到一

使用 scikit-learn 分类器（例如 RandomForestClassifier）进行主动学习，可以简单到以下代码：

from modAL.models import ActiveLearner
from sklearn.ensemble import RandomForestClassifier

# 初始化学习器
learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    X_training=X_training, y_training=y_training
)

# 查询待标注样本
query_idx, query_inst = learner.query(X_pool)

# ...从“Oracle”获取新标签...

# 为查询到的样本提供标签
learner.teach(X_pool[query_idx], y_new)

快速替换组件

如果您希望使用不同于默认不确定性采样的其他不确定性度量和查询策略，可以直接替换为几种内置策略，也可以遵循一些简单的设计原则来开发自己的策略。例如，将默认的不确定性度量替换为分类熵，代码如下：

from modAL.models import ActiveLearner
from modAL.uncertainty import entropy_sampling
from sklearn.ensemble import RandomForestClassifier

learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    query_strategy=entropy_sampling,
    X_training=X_training, y_training=y_training
)

用自定义方案替换组件

modAL 的设计宗旨之一就是让您轻松实现自定义查询策略。例如，实现并使用一种简单的随机采样策略，只需如下代码：

import numpy as np

def random_sampling(classifier, X_pool):
    n_samples = len(X_pool)
    query_idx = np.random.choice(range(n_samples))
    return query_idx, X_pool[query_idx]

learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    query_strategy=random_sampling,
    X_training=X_training, y_training=y_training
)

有关如何实现自定义策略的更多详细信息，请访问页面扩展 modAL!

带有主动回归的示例

为了亲眼见证 modAL 的实际应用，我们来考虑一个基于高斯过程的主动回归问题！在这个示例中，我们将尝试学习 带噪声的正弦函数：

import numpy as np

X = np.random.choice(np.linspace(0, 20, 10000), size=200, replace=False).reshape(-1, 1)
y = np.sin(X) + np.random.normal(scale=0.3, size=X.shape)

对于主动学习，我们需要定义一个专为高斯过程定制的查询策略。简而言之，modAL 中的 查询策略 是一个至少接受两个参数（一个估计器对象和一个待选样本池）的函数，它会返回被查询实例的索引。在我们的例子中，这两个参数分别是 regressor 和 X。

def GP_regression_std(regressor, X):
    _, std = regressor.predict(X, return_std=True)
    return np.argmax(std)

在设置好查询策略和数据后，就可以初始化主动学习器了。

from modAL.models import ActiveLearner
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import WhiteKernel, RBF

n_initial = 5
initial_idx = np.random.choice(range(len(X)), size=n_initial, replace=False)
X_training, y_training = X[initial_idx], y[initial_idx]

kernel = RBF(length_scale=1.0, length_scale_bounds=(1e-2, 1e3)) \
         + WhiteKernel(noise_level=1, noise_level_bounds=(1e-10, 1e+1))

regressor = ActiveLearner(
    estimator=GaussianProcessRegressor(kernel=kernel),
    query_strategy=GP_regression_std,
    X_training=X_training.reshape(-1, 1), y_training=y_training.reshape(-1, 1)
)

初始的回归模型并不太准确。

蓝色区域包裹着回归曲线，表示在该点处高斯过程的标准差。现在我们可以开始进行主动学习了！

# 主动学习
n_queries = 10
for idx in range(n_queries):
    query_idx, query_instance = regressor.query(X)
    regressor.teach(X[query_idx].reshape(1, -1), y[query_idx].reshape(1, -1))

经过几次查询后，我们可以看到预测效果有了显著提升。

更多示例

除了这个示例之外，还有许多其他示例可供参考：

• 基于池的采样
• 基于流的采样
• 主动回归
• 集成回归
• 贝叶斯优化
• 委员会查询
• 自助法与装袋法
• Keras 集成

安装

modAL 需要以下依赖：

• Python >= 3.5
• NumPy >= 1.13
• SciPy >= 0.18
• scikit-learn >= 0.18

你可以直接使用 pip 安装 modAL：

pip install modAL-python

或者，你也可以从源代码直接安装：

pip install git+https://github.com/modAL-python/modAL.git

文档

你可以在 https://modAL-python.github.io 找到 modAL 的文档，其中包含多个教程和可运行的示例，以及完整的 API 参考。为了更好地运行这些示例，建议安装 Matplotlib >= 2.0。

引用

如果你在项目中使用了 modAL，可以这样引用：

@article{modAL2018,
    title={mod{AL}: {A} modular active learning framework for {P}ython},
    author={Tivadar Danka and Peter Horvath},
    url={https://github.com/modAL-python/modAL},
    note={available on arXiv at \url{https://arxiv.org/abs/1805.00979}}
}

关于开发者

modAL 由我开发，我是 Tivadar Danka（GitHub 上的昵称是 cosmic-cortex）。我拥有纯数学博士学位，但在博士毕业后不久便爱上了生物学和机器学习。我转行进入了 Peter Horvath 的生物图像分析与机器学习研究组，在那里我致力于开发用于生物智能样本分析的主动学习策略。在工作中，我意识到利用 scikit-learn 在 Python 中构建和原型化主动学习流程可以非常简单快捷，因此我最终开发出了一个通用框架——这就是 modAL :) 如果你有任何问题、需求或建议，欢迎通过电子邮件 85a5187a@opayq.com 联系我！希望你能觉得 modAL 很有用！

modAL 快速上手指南

modAL 是一个专为 Python 3 设计的模块化主动学习（Active Learning）框架。它构建在 scikit-learn 之上，具有高度的灵活性、可扩展性和模块化特性，允许开发者轻松集成自定义的查询策略和不确定性度量，快速构建高效的主动学习工作流。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Linux, macOS, Windows
• Python 版本：>= 3.5
• 核心依赖：
  • NumPy >= 1.13
  • SciPy >= 0.18
  • scikit-learn >= 0.18

提示：运行文档中的可视化示例建议安装 Matplotlib >= 2.0。

安装步骤

您可以使用 pip 直接安装稳定版，或从源码安装最新版。

方式一：通过 PyPI 安装（推荐）

pip install modAL-python

(国内用户若下载缓慢，可添加清华或阿里镜像源加速)

pip install modAL-python -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：从 GitHub 源码安装

pip install git+https://github.com/modAL-python/modAL.git

基本使用

modAL 的核心流程非常简单：初始化学习器 -> 查询最有价值的样本 -> 获取标签 -> 更新模型。以下是一个基于 RandomForestClassifier 的最简示例。

1. 初始化与查询

from modAL.models import ActiveLearner
from sklearn.ensemble import RandomForestClassifier

# 假设 X_training, y_training 为初始少量带标签数据
# X_pool 为大量未标记数据池

# 初始化主动学习器
learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    X_training=X_training, 
    y_training=y_training
)

# 查询策略：让模型选出信息量最大的样本索引和数据
query_idx, query_inst = learner.query(X_pool)

# ...此处模拟人工标注过程，获取新标签 (y_new)...
# y_new = oracle_label(query_inst) 

# 将新标注的数据教给模型（增量更新）
learner.teach(X_pool[query_idx], y_new)

2. 替换查询策略

modAL 允许轻松切换内置策略或自定义策略。例如，将默认的“不确定性采样”替换为“熵采样”：

from modAL.models import ActiveLearner
from modAL.uncertainty import entropy_sampling
from sklearn.ensemble import RandomForestClassifier

learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    query_strategy=entropy_sampling,  # 指定新的策略
    X_training=X_training, 
    y_training=y_training
)

3. 自定义策略示例

您也可以编写自己的查询函数。以下是一个简单的随机采样策略实现：

import numpy as np

def random_sampling(classifier, X_pool):
    n_samples = len(X_pool)
    # 随机选择一个索引
    query_idx = np.random.choice(range(n_samples))
    return query_idx, X_pool[query_idx]

learner = ActiveLearner(
    estimator=RandomForestClassifier(),
    query_strategy=random_sampling,  # 使用自定义函数
    X_training=X_training, 
    y_training=y_training
)

通过以上步骤，您即可快速搭建起一个基础的主动学习闭环。更多高级用法（如回归任务、Keras 集成、委员会查询等）请参考官方文档。