Aequitas: 偏差审计与“修正”工具包

aequitas 是一款面向数据科学家、机器学习研究人员和政策制定者的开源偏差审计及公平机器学习工具包。我们提供了一个易于使用且透明的工具，用于审计机器学习模型的预测结果，并在二分类场景中利用公平机器学习方法尝试“修正有偏模型”。

如需了解更多关于如何处理人工智能/机器学习系统中的偏差与公平性问题，请参阅我们的详细教程及相关出版物。

版本 1.0.0：Aequitas Flow —— 优化机器学习流水线中的公平性

欢迎探索 Aequitas Flow，这是我们 1.0.0 版本中的最新更新。它旨在通过偏差缓解增强偏差审计功能，并借助我们全新的简化功能，让用户更便捷地开展公平机器学习方法的实验。

📥 安装

pip install aequitas

或

pip install git+https://github.com/dssg/aequitas.git

📔 示例笔记本支持各类任务与工作流

笔记本	描述
审计模型的预测结果	通过 COMPAS 示例笔记本了解如何进行深入的偏差审计，或使用您自己的数据。
修正模型的预测结果	在模型修正笔记本中，创建一个用于审计特定模型的数据框，并使用分组阈值修正预测结果。
训练考虑公平性的模型	使用您自己的数据或方法进行实验，并查看公平机器学习实验的结果。
将您的方法加入 Aequitas Flow	学习如何将自己的方法添加到 Aequitas Flow 工具包中。

🔍 偏差审计快速入门

要执行偏差审计，您需要一个符合以下格式的 pandas DataFrame：

	label_value	score	sens_attr_1	sens_attr_2	...	sens_attr_N
0	0	0	A	F		Y
1	0	1	C	F		N
2	1	1	B	T		N
...
N	1	0	E	T		Y

其中，label_value 是您的预测任务的目标变量，score 是模型输出。仅需一个敏感属性；所有敏感属性必须为 Categorical 格式。

from aequitas import Audit

audit = Audit(df)

要获取偏差审计的摘要，运行：

# 选择适合您数据集的公平性指标
audit.summary_plot(["tpr", "fpr", "pprev"])

我们也可以观察单个指标和敏感属性：

audit.disparity_plot(attribute="sens_attr_2", metrics=["fpr"])

🧪 偏差减少（公平机器学习）方法实验快速入门

要进行实验，需要一个数据集。该数据集必须包含标签列、敏感属性列和特征列。

from aequitas.flow import DefaultExperiment

experiment = DefaultExperiment.from_pandas(dataset, target_feature="label_value", sensitive_feature="attr", experiment_size="small")
experiment.run()

experiment.plot_pareto()

DefaultExperiment 类为包内的实验提供了一个更简便的入口点。该类有两个主要参数用于配置实验：experiment_size 和 methods。前者定义实验规模，可选为 test（每种方法 1 个模型）、small（每种方法 10 个模型）、medium（每种方法 50 个模型）或 large（每种方法 100 个模型）。后者则定义实验中使用的方法，可以是 all 或子集，即 preprocessing 或 inprocessing。

实验的多个方面（例如算法、运行次数、数据集划分等）可以在更为细粒度的 Experiment 类中单独配置。

🧠 方法训练快速入门

假设有一个 aequitas.flow.Dataset，可以根据算法类型（预处理、事中处理或事后处理）训练方法并使用其功能。

对于预处理方法：

from aequitas.flow.methods.preprocessing import PrevalenceSampling

sampler = PrevalenceSampling()
sampler.fit(dataset.train.X, dataset.train.y, dataset.train.s)
X_sample, y_sample, s_sample = sampler.transform(dataset.train.X, dataset.train.y, dataset.train.s)

对于事中处理方法：

from aequitas.flow.methods.inprocessing import FairGBM

model = FairGBM()
model.fit(X_sample, y_sample, s_sample)
scores_val = model.predict_proba(dataset.validation.X, dataset.validation.y, dataset.validation.s)
scores_test = model.predict_proba(dataset.test.X, dataset.test.y, dataset.test.s)

对于事后处理方法：

from aequitas.flow.methods.postprocessing import BalancedGroupThreshold

threshold = BalancedGroupThreshold("top_pct", 0.1, "fpr")
threshold.fit(dataset.validation.X, scores_val, dataset.validation.y, dataset.validation.s)
corrected_scores = threshold.transform(dataset.test.X, scores_test, dataset.test.s)

通过上述步骤，我们可以对数据集进行采样，训练一个 FairGBM 模型，然后调整分数以使各组的 FPR 相等（实现预测平等）。

📜 工具包特性

• 指标：基于混淆矩阵的审计指标，可根据具体用例灵活选择重要指标。
• 绘图选项：偏差审计和实验的主要结果还提供适合不同用户目标的图表。
• 公平机器学习方法：提供了多种公平机器学习方法的接口与实现，包括预处理、事中处理和事后处理方法。
• 数据集：包含两类数据集，分别名为 BankAccountFraud 和 FolkTables。
• 可扩展性：支持接收用户自定义的方法，并提供直观的接口和方法签名。
• 可重复性：可保存实验中的各种成果，从转换后的数据到拟合的模型和预测结果。
• 模块化：公平机器学习方法和默认数据集可以单独使用，也可以集成到一个 Experiment 中。
• 超参数优化：内置并抽象了 Optuna 的超参数优化功能，便于实验使用。

公平机器学习方法

我们支持一系列旨在解决机器学习流程不同阶段中偏见和歧视问题的方法。

类型	方法	描述
预处理	数据修复器	转换数据分布，使某一特征分布与敏感属性 s 在边际上独立。
	标签翻转	根据公平排序噪声校正方法，翻转部分训练数据的标签。
	预值采样	生成具有可控均衡预值的训练样本，通过欠采样或过采样实现数据集中各组之间的平衡。
	按摩法	翻转选定的标签，以减少各组之间的预值差异。
	相关性抑制	移除与敏感属性高度相关的特征。
	特征重要性抑制	迭代移除对敏感属性影响最大的特征。
事中处理	FairGBM	一种新颖的方法，将提升树算法（LightGBM）置于预先定义的公平性约束之下。
	Fairlearn 分类器	基于 Fairlearn reductions 包中的模型。可针对 ExponentiatedGradient 和 GridSearch 方法进行参数化配置。
事后处理	分组阈值	调整各组的阈值，以达到特定的公平性标准（例如，所有组的 FPR 均为 10%）。
	平衡分组阈值	调整各组的阈值以满足特定的公平性标准，同时遵守全局约束（例如，人口统计均等性要求全局 FPR 为 10%）。

公平性度量

aequitas 为敏感属性列的每个可能取值提供混淆矩阵指标的值，以计算公平性度量。混淆矩阵中的各个单元格定义如下：

单元格	符号	描述
假阳性	$FP_g$	在组 $g$ 中，预测为 $\hat{Y}=1$ 且实际为 $Y=0$ 的实体数量
假阴性	$FN_g$	在组 $g$ 中，预测为 $\hat{Y}=0$ 且实际为 $Y=1$ 的实体数量
真阳性	$TP_g$	在组 $g$ 中，预测为 $\hat{Y}=1$ 且实际为 $Y=1$ 的实体数量
真阴性	$TN_g$	在组 $g$ 中，预测为 $\hat{Y}=0$ 且实际为 $Y=0$ 的实体数量

基于这些指标，我们可以计算以下几种度量：

度量	公式	描述
准确率	$Acc_g = \cfrac{TP_g + TN_g}{|g|}$	组内预测正确的实体所占的比例。
真正例率	$TPR_g = \cfrac{TP_g}{TP_g + FN_g}$	在某一组的标签为正的实体中，真正例所占的比例。
真负例率	$TNR_g = \cfrac{TN_g}{TN_g + FP_g}$	在某一组的标签为负的实体中，真负例所占的比例。
假阴性率	$FNR_g = \cfrac{FN_g}{TP_g + FN_g}$	在某一组的标签为正的实体中，假阴性所占的比例。
假阳性率	$FPR_g = \cfrac{FP_g}{TN_g + FP_g}$	在某一组的标签为负的实体中，假阳性所占的比例。
精确率	$Precision_g = \cfrac{TP_g}{TP_g + FP_g}$	在某一组的预测为正的实体中，真正例所占的比例。
负预测值	$NPV_g = \cfrac{TN_g}{TN_g + FN_g}$	在某一组的预测为负的实体中，真负例所占的比例。
假发现率	$FDR_g = \cfrac{FP_g}{TP_g + FP_g}$	在某一组的预测为正的实体中，假阳性所占的比例。
假漏报率	$FOR_g = \cfrac{FN_g}{TN_g + FN_g}$	在某一组的预测为负的实体中，假阴性所占的比例。
预测为正	$PP_g = TP_g + FP_g$	某一组中决策为正（即 $\hat{Y}=1$）的实体数量。
总预测为正	$K = \sum PP_{g(a_i)}$	由属性 $A$ 定义的不同组别中，所有被预测为正的实体总数
预测为负	$PN_g = TN_g + FN_g$	某一组中决策为负（即 $\hat{Y}=0$）的实体数量
预测阳性率	$Pprev_g=\cfrac{PP_g}{|g|}=P(\hat{Y}=1 | A=a_i)$	某一组中被预测为阳性的实体所占比例。
预测阳性率	$PPR_g = \cfrac{PP_g}{K} = P(A=A_i | \hat{Y}=1)$	被预测为正的实体中属于某一特定组别的比例。

这些内容在 Group 类中实现。借助 Bias 类，可以通过对这些指标的各种比率组合，推导出多种公平性度量。

更多文档

您可以在 这里 找到该工具包的文档。

如需更多 Python 库示例以及关于机器学习公平性概念的深入探讨，请参阅我们在 KDD 和 AAAI 上发布的 教程。此外，您还可以访问 Aequitas 项目网站。

引用 Aequitas

引用 Aequitas 时，请参考以下论文：

1. Aequitas Flow：简化公平机器学习实验流程（2024）PDF

@article{jesus2024aequitas,
  title={Aequitas Flow: Streamlining Fair ML Experimentation},
  author={Jesus, S{\'e}rgio and Saleiro, Pedro and Jorge, Beatriz M and Ribeiro, Rita P and Gama, Jo{\~a}o and Bizarro, Pedro and Ghani, Rayid and others},
  journal={arXiv preprint arXiv:2405.05809},
  year={2024}
}

2. Aequitas：偏见与公平性审计工具包（2018）PDF

   @article{2018aequitas,
     title={Aequitas: A Bias and Fairness Audit Toolkit},
     author={Saleiro, Pedro and Kuester, Benedict and Stevens, Abby and Anisfeld, Ari and Hinkson, Loren and London, Jesse and Ghani, Rayid}, journal={arXiv preprint arXiv:1811.05577}, year={2018}}

返回顶部

Aequitas 快速上手指南

Aequitas 是一个开源的偏差审计与公平机器学习（Fair ML）工具包，专为数据科学家、研究人员和政策制定者设计。它支持对二分类模型的预测结果进行透明度审计，并提供预处理、处理中和后处理等多种方法来修正模型偏差。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.8 及以上版本
• 核心依赖：
  • pandas：用于数据处理
  • numpy：数值计算
  • matplotlib / seaborn：用于绘制审计图表
  • scikit-learn：基础机器学习接口
• 数据格式要求：输入数据需为 pandas DataFrame，包含目标变量列（label_value）、模型得分列（score）以及至少一个敏感属性列（需为分类类型 Categorical）。

安装步骤

您可以使用 pip 直接从 PyPI 安装稳定版，或从 GitHub 安装最新开发版。

方式一：通过 PyPI 安装（推荐）

pip install aequitas

方式二：通过 GitHub 安装最新版

pip install git+https://github.com/dssg/aequitas.git

提示：国内用户若下载缓慢，可添加清华或阿里镜像源加速安装： pip install aequitas -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Aequitas 的核心功能主要分为偏差审计和公平性实验两部分。以下是基于 pandas DataFrame 的最简使用示例。

1. 偏差审计 (Bias Auditing)

假设您已有一个包含模型预测结果的 DataFrame df，结构如下：

label_value	score	sens_attr_1
0	0.2	Group_A
1	0.8	Group_B

import pandas as pd
from aequitas import Audit

# 假设 df 已经加载好，且敏感属性列已转换为 Categorical 类型
# df['sens_attr_1'] = df['sens_attr_1'].astype('category')

# 初始化审计对象
audit = Audit(df)

# 生成偏差摘要图，选择关注的公平性指标
# 常用指标：tpr (真正例率), fpr (假正例率), pprev (阳性预测值)
audit.summary_plot(["tpr", "fpr", "pprev"])

# 查看特定敏感属性和单一指标的差异图
audit.disparity_plot(attribute="sens_attr_1", metrics=["fpr"])

2. 公平性实验与修正 (Fair ML Experiment)

如果您希望训练新模型或修正现有模型的偏差，可以使用 aequitas.flow 模块进行实验。

from aequitas.flow import DefaultExperiment

# dataset 为包含特征、标签和敏感属性的原始数据集 DataFrame
# target_feature: 标签列名
# sensitive_feature: 敏感属性列名
# experiment_size: 实验规模 ('test', 'small', 'medium', 'large')
experiment = DefaultExperiment.from_pandas(
    dataset, 
    target_feature="label_value", 
    sensitive_feature="attr", 
    experiment_size="small"
)

# 运行实验（自动尝试多种公平性算法）
experiment.run()

# 绘制帕累托前沿图，观察准确率与公平性的权衡
experiment.plot_pareto()

3. 分步方法调用 (进阶)

您也可以手动调用具体的公平性算法（如预处理采样、公平模型训练、后处理阈值调整）：

from aequitas.flow.methods.preprocessing import PrevalenceSampling
from aequitas.flow.methods.inprocessing import FairGBM
from aequitas.flow.methods.postprocessing import BalancedGroupThreshold

# 1. 预处理：平衡各组流行度
sampler = PrevalenceSampling()
sampler.fit(dataset.train.X, dataset.train.y, dataset.train.s)
X_sample, y_sample, s_sample = sampler.transform(dataset.train.X, dataset.train.y, dataset.train.s)

# 2. 处理中：训练公平梯度提升模型
model = FairGBM()
model.fit(X_sample, y_sample, s_sample)
scores_val = model.predict_proba(dataset.validation.X, dataset.validation.y, dataset.validation.s)
scores_test = model.predict_proba(dataset.test.X, dataset.test.y, dataset.test.s)

# 3. 后处理：调整阈值以实现群体间的假正例率 (FPR) 平衡
threshold = BalancedGroupThreshold("top_pct", 0.1, "fpr")
threshold.fit(dataset.validation.X, scores_val, dataset.validation.y, dataset.validation.s)
corrected_scores = threshold.transform(dataset.test.X, scores_test, dataset.test.s)