doubtlab

一个用于处理不良标签的实验室。更多信息请参见 这里。

该仓库包含一些通用技巧，可以帮助您在数据集中找到不良或有噪声的标签。希望这个仓库能让大家在投入大量时间和计算资源进行网格搜索之前，更轻松地检查自己的数据集。

安装

您可以使用 pip 或 conda 来安装此工具。

使用 pip 安装

python -m pip install doubtlab

使用 conda 安装

conda install -c conda-forge doubtlab

快速入门

Doubtlab 允许您定义某些“理由”，以决定某一行数据是否值得进一步检查。这些理由可以组成一个管道，用于检索需要再次检查的示例的排序列表。

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

from doubtlab.ensemble import DoubtEnsemble
from doubtlab.reason import ProbaReason, WrongPredictionReason

# 假设我们已经有了数据集和模型
X, y = load_iris(return_X_y=True)
model = LogisticRegression(max_iter=1_000)
model.fit(X, y)

# 接下来我们可以添加怀疑的理由。在这里，我们说如果某个样本的预测概率值较低，或者模型的输出与实际标签不符，则该样本值得再次检查。
reasons = {
    'proba': ProbaReason(model=model),
    'wrong_pred': WrongPredictionReason(model=model)
}

# 将这些理由传递给 Doubtlab 实例。
doubt = DoubtEnsemble(**reasons)

# 获取值得再次检查的示例的有序索引
indices = doubt.get_indices(X, y)
# 获取带有排序依据的 DataFrame
predicates = doubt.get_predicates(X, y)

功能

该库实现了许多用于怀疑的理由。

通用理由

• RandomReason: 随机分配怀疑，以防万一
• OutlierReason: 当模型将某一行数据判定为异常时，分配怀疑

分类理由

• ProbaReason: 当模型对任何标签的置信度较低时，分配怀疑
• WrongPredictionReason: 当模型无法预测列出的标签时，分配怀疑
• ShortConfidenceReason: 当正确标签获得的置信度过低时，分配怀疑
• LongConfidenceReason: 当错误标签获得的置信度过高时，分配怀疑
• DisagreeReason: 当两个模型对预测结果不一致时，分配怀疑
• CleanlabReason: 根据 cleanlab 的方法分配怀疑
• MarginConfidenceReason: 当前两个类别置信度之间的差距较小时，分配怀疑

回归理由

• AbsoluteDifferenceReason: 当绝对差异过大时，分配怀疑
• RelativeDifferenceReason: 当相对差异过大时，分配怀疑
• StandardizedErrorReason: 当标准化残差的绝对值过大时，分配怀疑

反馈

该项目尚处于早期阶段。尽管目前的版本已经非常实用，但我们仍希望保持诚实。欢迎提供反馈和经验分享！

相关项目

• cleanlab 项目是本项目的灵感来源。他们有一个非常好的检测不良标签的启发式方法，但我希望有一个能够实现多种方法的库。请务必查看他们在 labelerrors.com 项目上的工作。
• 我的前雇主 Rasa 一直注重数据质量。这种态度无疑也渗透到了本项目中。如果您正在开发虚拟助手，请务必了解 对话驱动开发 方法以及 Rasa X。
• 我目前的雇主 Explosion 拥有一款名为 Prodigy 的优秀标注工具。我目前正在研究像 doubtlab 这样的工具如何与这款非常优秀的标注工具结合使用，从而生成更好的标签。

doubtlab 快速上手指南

doubtlab 是一个用于检测数据集中“坏标签”（错误标注或噪声标签）的 Python 工具库。它通过定义多种“怀疑理由”（Reasons），帮助开发者在投入大量算力进行模型调优前，快速筛选出值得复查的数据样本。

环境准备

• 操作系统：Linux、macOS 或 Windows
• Python 版本：支持 Python 3.7 及以上版本
• 前置依赖：
  • scikit-learn：用于构建和评估机器学习模型
  • pandas / numpy：用于数据处理（内部自动处理）

注意：国内用户若遇到网络延迟，建议在安装时指定国内镜像源（如清华源或阿里源）。

安装步骤

你可以选择通过 pip 或 conda 进行安装。

方式一：使用 pip 安装（推荐）

使用国内镜像源加速安装：

python -m pip install doubtlab -i https://pypi.tuna.tsinghua.edu.cn/simple

或使用官方源：

python -m pip install doubtlab

方式二：使用 conda 安装

conda install -c conda-forge doubtlab

基本使用

以下示例演示了如何加载数据集、训练模型，并利用 doubtlab 找出可能存在标签错误的样本。

1. 导入依赖与数据

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

from doubtlab.ensemble import DoubtEnsemble
from doubtlab.reason import ProbaReason, WrongPredictionReason

# 加载示例数据集
X, y = load_iris(return_X_y=True)

# 训练一个基础模型
model = LogisticRegression(max_iter=1_000)
model.fit(X, y)

2. 定义“怀疑理由”

我们可以组合多种规则来标记可疑数据。例如：

• ProbaReason：模型预测置信度低时。
• WrongPredictionReason：模型预测结果与真实标签不一致时。

reasons = {
    'proba': ProbaReason(model=model),
    'wrong_pred': WrongPredictionReason(model=model)
}

3. 创建检测器并获取结果

将定义好的理由传入 DoubtEnsemble，即可生成按可疑程度排序的索引列表。

# 初始化怀疑集成器
doubt = DoubtEnsemble(**reasons)

# 获取值得复查的样本索引（按可疑度排序）
indices = doubt.get_indices(X, y)

# 获取详细的判断依据数据框
predicates = doubt.get_predicates(X, y)

# 打印前 5 个最可疑的样本索引
print(indices[:5])

通过 indices 你可以定位到具体需要人工复核的数据行，从而提升数据集质量。