featexp

监督学习中的特征探索工具。有助于理解特征、识别噪声特征、调试特征、检测数据泄露以及监控模型。

安装

pip install featexp

使用 featexp

关于如何使用 featexp 的详细 Medium 文章。网络翻译：中文、俄文

featexp 绘制的图表类似于部分依赖图，但它直接基于数据生成，而不是像现有的部分依赖图实现那样依赖于训练好的模型。由于它是直接从数据中绘制图表，因此可以帮助更好地理解特征，并构建更优秀的机器学习模型。

from featexp import get_univariate_plots
get_univariate_plots(data=data_train, target_col='target', data_test=data_test, features_list=['DAYS_EMPLOYED'])

# data_test 和 features_list 是可选的。
# 如果未传递 features_list，则会为所有列绘制图表。
# 如果未传递 data_test，则只绘制训练集的图表。

featexp 会将特征划分为等频分箱，并展示每个分箱中目标变量（target）的平均值。以下是解读这些图表的方法：

1. 左侧的趋势图可以帮助你理解目标变量与特征之间的关系。
2. 人口分布图可以帮助你确认特征是否正确。
3. 此外，它还会显示趋势方向的变化次数以及训练集和测试集趋势的相关性，这可以用来识别噪声特征。如果趋势变化次数过多或趋势相关性较低，则表明特征中存在较高噪声。

噪声特征示例：趋势相关性较低

获取分箱后的特征统计信息

返回特征各分箱的目标变量均值及样本数量。

from featexp import univariate_plotter
binned_data_train, binned_data_test = univariate_plotter(data=data_train, target_col='target', feature='DAYS_EMPLOYED', data_test=data_test)
# 如果仅需训练集的数据
binned_data_train = univariate_plotter(data=data_train, target_col='target', feature='DAYS_EMPLOYED')

获取所有特征的统计信息

返回数据框中所有特征的趋势变化次数和趋势相关性。

from featexp import get_trend_stats_feature
stats = get_trend_stats(data=data_train, target_col='target', data_test=data_test)

# data_test 是可选的。如果不提供，将不会计算趋势相关性。

返回一个包含趋势变化次数和趋势相关性的数据框，可用于剔除噪声特征等操作。

数据泄露检测

它可以帮助识别特征为何存在数据泄露，从而便于调试。

空值在某一分箱中的目标变量均值为 0%，而在其他分箱中的均值则为 100%。这表明该特征仅在目标值为 1 时才有值。

引用 featexp

featexp 快速上手指南

featexp 是一个用于监督学习的特征探索工具，旨在帮助开发者理解特征、识别噪声特征、调试模型、检测数据泄露以及进行模型监控。它通过直接基于数据绘制类似部分依赖图（PDP）的图表，无需训练模型即可直观分析特征与目标变量的关系。

环境准备

• 操作系统：Windows / macOS / Linux
• Python 版本：建议 Python 3.6 及以上
• 前置依赖：
  • pandas
  • numpy
  • matplotlib
  • seaborn（可选，用于美化图表）

确保已安装基础数据科学库，若未安装可通过 pip 一并解决。

安装步骤

使用 pip 直接安装官方发布版本：

pip install featexp

💡 国内加速建议：如遇下载缓慢，可使用清华或阿里云镜像源加速安装：

pip install featexp -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 绘制单变量特征分布图

最基础的用法是调用 get_univariate_plots 函数，快速查看某个特征与目标变量的趋势关系及数据分布。

from featexp import get_univariate_plots

get_univariate_plots(
    data=data_train, 
    target_col='target', 
    data_test=data_test, 
    features_list=['DAYS_EMPLOYED']
)

• data_train：训练集 DataFrame
• target_col：目标变量列名
• data_test：测试集 DataFrame（可选，用于对比训练/测试趋势一致性）
• features_list：要分析的特征列表（可选，若不传则默认分析所有数值列）

输出说明：

• 左侧趋势图：展示特征分箱后每组的目标变量均值，反映特征与目标的关联趋势。
• 右侧人口分布图：展示各分箱内的样本数量，辅助判断数据稀疏性。
• 自动计算“趋势变化次数”和“训练 - 测试趋势相关性”，高变化次数或低相关性通常意味着该特征噪声较大。

2. 获取分箱统计信息

如需获取具体的分箱统计数据（如每箱的目标均值和样本数），可使用 univariate_plotter：

from featexp import univariate_plotter

binned_data_train, binned_data_test = univariate_plotter(
    data=data_train, 
    target_col='target', 
    feature='DAYS_EMPLOYED', 
    data_test=data_test
)

若仅需训练集数据：

binned_data_train = univariate_plotter(
    data=data_train, 
    target_col='target', 
    feature='DAYS_EMPLOYED'
)

3. 批量获取所有特征的统计指标

使用 get_trend_stats 可一次性获得所有特征的趋势变化次数和训练 - 测试趋势相关性，便于批量筛选噪声特征：

from featexp import get_trend_stats

stats = get_trend_stats(
    data=data_train, 
    target_col='target', 
    data_test=data_test
)

返回的 DataFrame 包含以下关键列：

• trend_changes：趋势方向变化次数，值越高越可能是噪声特征。
• trend_correlation：训练集与测试集趋势的相关性，值越低表示泛化能力差或存在过拟合风险。

注：若不提供 data_test，则不会计算趋势相关性。

通过以上功能，你可以快速完成特征质量评估、异常特征剔除和数据泄露排查，为构建更稳健的机器学习模型打下坚实基础。