文档 | 示例 | 博客 | 研究

Cleanlab 的开源库能够帮助您通过自动检测机器学习数据集中的问题来清理数据和标注。为了促进使用混乱的真实世界数据进行机器学习，这个以数据为中心的人工智能工具包会利用您现有的模型来估计数据集中的问题，并提出可修复的建议，从而训练出更加优秀的模型。

通过这段代码，Cleanlab 可以自动检测猫狗数据集中存在的各种问题：

        lab = cleanlab.Datalab(data=dataset, label="column_name_for_labels")
        # 拟合任意机器学习模型，获取其特征嵌入和预测概率
        lab.find_issues(features=feature_embeddings, pred_probs=pred_probs)
        lab.report()

• 使用 Cleanlab 自动检查任何：文本、音频、图像，或表格数据集。
• 使用 Cleanlab 自动：检测数据问题（异常值、重复样本、标签错误等）、训练鲁棒模型、推断多标注者数据的一致性及标注者质量、建议下一步需要重新标注的数据（主动学习）。

运行 Cleanlab 开源工具

此 Cleanlab 软件包支持 Python 3.10 及以上版本，并兼容 Linux、macOS 和 Windows。

• 从这里开始！可通过 uv、pip 或 conda 安装。
• 从源码安装最新开发版的开发者，请参考主分支文档。

以数据为中心的人工智能实践可以这样进行：

1. 在原始数据集上训练初始机器学习模型。
2. 利用该模型诊断数据问题（通过 Cleanlab 方法），并改进数据集。
3. 在改进后的数据集上重新训练同一模型。
4. 尝试不同的建模技术以进一步提升性能。

大多数人通常直接从步骤 1 跳到步骤 4，但您只需使用 Cleanlab，无需对建模代码做任何修改，就能获得显著收益！通过不断迭代步骤 2 至 4 来持续提升性能（并尽量使用清理后的数据进行评估）。

Cleanlab 可与任何模型配合，适用于大多数机器学习任务

Cleanlab 的所有功能都适用于任何数据集和任何模型。是的，任何模型：PyTorch、TensorFlow、Keras、JAX、HuggingFace、OpenAI、XGBoost、scikit-learn 等。

Cleanlab 在多种机器学习任务中都非常有用。该以数据为中心的人工智能工具包为以下特定任务提供了专门的功能：

1. 二分类和多分类
2. 多标签分类（例如图像/文档标注）
3. 标记分类（例如文本中的实体识别）
4. 回归（预测数据集中数值型列）
5. 图像分割（带有像素级标注的图像）
6. 目标检测（带有边界框标注的图像）
7. 多标注者标注的数据分类
8. 多标注者的主动学习（建议优先标注或重新标注哪些数据以最大程度提升模型性能）
9. 异常值检测（识别分布外的异常数据）

对于其他机器学习任务，只要应用得当，Cleanlab 仍然可以帮助您改进数据集。 请参阅我们的示例笔记本和博客。

如此清新，如此 Cleanlab

除了能够自动捕捉您数据中潜藏的各类问题之外，这款以数据为中心的 AI 工具还能帮助您处理噪声标签，并训练出更加鲁棒的机器学习模型。以下是一个示例：

# Cleanlab 适用于**任何分类器**。没错，您可以使用 PyTorch/TensorFlow/OpenAI/XGBoost 等。
cl = cleanlab.classification.CleanLearning(sklearn.YourFavoriteClassifier())

# Cleanlab 可以在**任何数据集**中找到数据和标签问题……只需一行代码！
label_issues = cl.find_label_issues(data, labels)

# Cleanlab 会训练一个鲁棒版本的您的模型，使其在存在噪声标签的情况下也能更可靠地工作。
cl.fit(data，labels)

# Cleanlab 估算如果您在没有标签问题的情况下训练模型，将会得到怎样的预测结果。
cl.predict(test_data)

# 一款通用的数据中心型人工智能工具，cleanlab 可以量化任何数据集中的类别级问题及整体数据质量。
cleanlab.dataset.health_summary(labels, confident_joint=cl.confident_joint)

cleanlab 通过最先进的 置信学习 算法来“清理”你的数据标签，这些算法发表在本 论文 和 博客 中。你可以在 labelerrors.com 上查看一些使用 cleanlab 清理过的数据集。

cleanlab 具有以下特点：

1. 理论支持——即使模型不完美，也能提供可证明的精确标签噪声估计保证。
2. 速度快——代码已并行化且具有可扩展性。
3. 易于使用——只需一行代码即可找出误标注数据、不良标注者、异常值，或训练对噪声鲁棒的模型。
4. 通用性强——适用于 任何数据集（文本、图像、表格、音频等）以及 任何模型（PyTorch、OpenAI、XGBoost 等）。

使用 cleanlab 找到并修正的各类图像数据集中错误标注的示例。虽然这些例子来自图像数据集，但该方法同样适用于文本、音频和表格数据。

引用及相关出版物

cleanlab 基于经过同行评审的研究。如果您使用此软件包，请引用以下相关论文：

@article{northcutt2021confidentlearning,
    title={Confident Learning: Estimating Uncertainty in Dataset Labels},
    author={Curtis G. Northcutt and Lu Jiang and Isaac L. Chuang},
    journal={Journal of Artificial Intelligence Research (JAIR)},
    volume={70},
    pages={1373--1411},
    year={2021}
}

@inproceedings{northcutt2017rankpruning,
    author={Northcutt, Curtis G. and Wu, Tailin and Chuang, Isaac L.},
    title={Learning with Confident Examples: Rank Pruning for Robust Classification with Noisy Labels},
    booktitle = {Proceedings of the Thirty-Third Conference on Uncertainty in Artificial Intelligence},
    series = {UAI'17},
    year = {2017},
    location = {Sydney, Australia},
    numpages = {10},
    url = {http://auai.org/uai2017/proceedings/papers/35.pdf},
    publisher = {AUAI Press},
}

@inproceedings{kuan2022labelquality,
    title={Model-agnostic label quality scoring to detect real-world label errors},
    author={Kuan, Johnson and Mueller, Jonas},
    booktitle={ICML DataPerf Workshop},
    year={2022}
}

@inproceedings{wang2022tokenerrors,
    title={Detecting label errors in token classification data},
    author={Wang, Wei-Chen and Mueller, Jonas},
    booktitle={NeurIPS Workshop on Interactive Learning for Natural Language Processing (InterNLP)},
    year={2022}
}

@inproceedings{thyagarajan2023multilabel,
    title={Identifying Incorrect Annotations in Multi-Label Classification Data},
    author={Thyagarajan, Aditya and Snorrason, Elías and Northcutt, Curtis and Mueller, Jonas},
    booktitle={ICLR Workshop on Trustworthy ML},
    year={2023}
}

@inproceedings{tkachenko2023objectlab,
    title={ObjectLab: Automated Diagnosis of Mislabeled Images in Object Detection Data},
    author={Tkachenko, Ulyana and Thyagarajan, Aditya and Mueller, Jonas},
    booktitle={ICML Workshop on Data-centric Machine Learning Research},
    year={2023}
}

@inproceedings{lad2023segmentation,
    title={Estimating label quality and errors in semantic segmentation data via any model},
    author={Lad, Vedang and Mueller, Jonas},
    booktitle={ICML Workshop on Data-centric Machine Learning Research},
    year={2023}
}

@inproceedings{zhou2023errors,
    title={Detecting Errors in a Numerical Response via any Regression Model},
    author={Zhou, Hang and Mueller, Jonas and Kumar, Mayank and Wang, Jane-Ling and Lei, Jing},
    booktitle={Journal of Data-centric Machine Learning Research},
    year={2024}
}

@inproceedings{kuan2022ood,
    title={Back to the Basics: Revisiting Out-of-Distribution Detection Baselines},
    author={Kuan, Johnson and Mueller, Jonas},
    booktitle={ICML Workshop on Principles of Distribution Shift},
    year={2022}
}

@inproceedings{goh2022crowdlab,
    title={CROWDLAB: Supervised learning to infer consensus labels and quality scores for data with multiple annotators},
    author={Goh, Hui Wen and Tkachenko, Ulyana and Mueller, Jonas},
    booktitle={NeurIPS Human in the Loop Learning Workshop},
    year={2022}
}

@inproceedings{goh2023activelab,
    title={ActiveLab: Active Learning with Re-Labeling by Multiple Annotators},
    author={Goh, Hui Wen and Mueller, Jonas},
    booktitle={ICLR Workshop on Trustworthy ML},
    year={2023}
}

@inproceedings{cummings2023drift,
    title={Detecting Dataset Drift and Non-IID Sampling via k-Nearest Neighbors},
    author={Cummings, Jesse and Snorrason, Elías and Mueller, Jonas},
    booktitle={ICML Workshop on Data-centric Machine Learning Research},
    year={2023}
}

如需了解或引用上述未提及的 cleanlab 其他功能，请访问我们的 博客。

其他资源

• 演示本包实际应用的示例笔记本

• Cleanlab 博客

• 博客文章：置信学习简介

• NeurIPS 2021 论文：测试集中普遍存在的标签错误会破坏机器学习基准的稳定性

• 以数据为中心的人工智能导论（MIT IAP 课程）

• 过往版本的发布说明

有兴趣贡献吗？ 请参阅贡献指南、开发指南，以及关于有用贡献的想法。

有问题吗？ 请查看我们的常见问题解答和Github 问题。

Cleanlab 快速上手指南

Cleanlab 是一个开源的数据中心 AI 库，旨在通过自动检测机器学习数据集中的问题（如标签错误、异常值、重复数据等）来“清洗”数据和标签。它利用你现有的模型来诊断数据问题，从而训练出更鲁棒的模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：支持 Linux, macOS 以及 Windows。
• Python 版本：需要 Python 3.10 或更高版本。
• 前置依赖：你需要有一个已经训练好或可以训练的机器学习模型（支持 PyTorch, TensorFlow, Scikit-learn, XGBoost, HuggingFace 等任意框架），并能够获取模型的预测概率 (pred_probs) 或特征嵌入 (features)。

安装步骤

推荐使用 pip 进行安装。国内开发者建议使用清华或阿里镜像源以加速下载。

使用 pip 安装（推荐）：

pip install cleanlab -i https://pypi.tuna.tsinghua.edu.cn/simple

使用 conda 安装：

conda install -c conda-forge cleanlab

使用 uv 安装（极速）：

uv pip install cleanlab

基本使用

Cleanlab 的核心工作流非常简洁：初始化 Datalab -> 传入模型预测结果 -> 自动发现问题 -> 生成报告。

以下是最简单的快速开始示例，适用于文本、图像、音频或表格数据：

1. 自动检测数据问题 (Datalab)

假设你已经有了数据集 dataset（包含特征和标签列），并且通过某个模型获得了特征嵌入 feature_embeddings 和预测概率 pred_probs。

import cleanlab

# 1. 初始化 Datalab，指定数据源和标签列名
lab = cleanlab.Datalab(data=dataset, label="column_name_for_labels")

# 2. 传入模型输出的特征和预测概率，自动查找各类问题
# 支持检测：标签错误、异常值、重复数据、类不平衡等
lab.find_issues(features=feature_embeddings, pred_probs=pred_probs)

# 3. 打印详细的问题诊断报告
lab.report()

执行后，lab.report() 将输出数据集中存在的具体问题列表及严重程度，帮助你决定清洗哪些数据。

2. 训练抗噪模型 (CleanLearning)

如果你希望直接利用 Cleanlab 训练一个对噪声标签具有鲁棒性的分类器，可以使用 CleanLearning 包装器。它兼容任何 Scikit-learn 风格的分类器。

from sklearn.linear_model import LogisticRegression
import cleanlab

# 1. 包装你喜欢的任意分类器 (支持 PyTorch, XGBoost 等封装为 sklearn 接口的模型)
cl = cleanlab.classification.CleanLearning(LogisticRegression())

# 2. 一行代码找出标签错误
label_issues = cl.find_label_issues(data=X, labels=y)

# 3. 训练一个鲁棒的模型（自动处理噪声数据）
cl.fit(X, y)

# 4. 进行预测（相当于在无标签错误的数据上训练后的效果）
predictions = cl.predict(X_test)

# 5. 查看数据集整体健康度总结
cleanlab.dataset.health_summary(y, confident_joint=cl.confident_joint)

通过上述步骤，你可以无需修改核心建模代码，仅通过改善数据质量来显著提升模型性能。