特征选择器：Python 中的简单特征选择

特征选择器是一个用于降低机器学习数据集维度的工具。

方法

共有五种方法用于识别需要移除的特征：

1. 缺失值
2. 唯一值
3. 共线性特征
4. 重要性为零的特征
5. 重要性较低的特征

使用方法

请参阅 Feature Selector 使用说明笔记本，了解如何使用。

可视化

FeatureSelector 还包含多种可视化方法，用于检查数据集的特性。

相关性热图

最重要的特征

所需依赖：

python==3.6+
lightgbm==2.1.1
matplotlib==2.1.2
seaborn==0.8.1
numpy==1.22.0
pandas==0.23.1
scikit-learn==0.19.1

联系方式

如有任何问题，请发送邮件至 wjk68@case.edu！

Feature Selector 快速上手指南

Feature Selector 是一个用于机器学习数据集降维的 Python 工具，能够自动识别并移除冗余或低价值的特征。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.6 及以上
• 核心依赖库：
  • lightgbm == 2.1.1
  • matplotlib == 2.1.2
  • seaborn == 0.8.1
  • numpy == 1.22.0
  • pandas == 0.23.1
  • scikit-learn == 0.19.1

提示：国内开发者建议使用清华或阿里镜像源加速依赖安装。

安装步骤

您可以直接通过 pip 安装所需的依赖包。推荐使用国内镜像源以提高下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple lightgbm==2.1.1 matplotlib==2.1.2 seaborn==0.8.1 numpy==1.22.0 pandas==0.23.1 scikit-learn==0.19.1

若需安装最新版本的 feature-selector（如果已发布到 PyPI）或直接克隆源码使用：

git clone https://github.com/WillKoehrsen/feature-selector.git
cd feature-selector

基本使用

以下是使用 FeatureSelector 进行特征选择的最简示例。该工具主要包含五种筛选方法：缺失值、单一唯一值、共线特征、零重要性特征和低重要性特征。

import pandas as pd
from feature_selector import FeatureSelector

# 1. 准备数据 (假设 features 为特征 DataFrame, labels 为目标变量 Series)
# features = pd.read_csv('your_data.csv')
# labels = features['target_column']
# features = features.drop(columns=['target_column'])

# 2. 初始化 FeatureSelector
fs = FeatureSelector(data=features, labels=labels)

# 3. 运行特征选择方法
# 识别缺失值超过阈值的特征
fs.identify_missing(missing_threshold=0.6)

# 识别单一唯一值的特征
fs.identify_single_unique()

# 识别高共线性特征 (相关系数阈值)
fs.identify_collinear(correlation_threshold=0.98)

# 基于模型识别零重要性和低重要性特征
# 需要先训练一个 LightGBM 模型来计算重要性
fs.identify_zero_importance(task='classification', eval_metric='auc', 
                            n_iterations=10, early_stopping=True)
fs.identify_low_importance(cumulative_importance=0.99)

# 4. 获取要移除的特征列表
to_remove = fs.check_identified_features()

# 5. 执行移除操作，得到精简后的数据集
filtered_features = fs.remove(methods='all', keep_one_hot=False)

# 6. (可选) 可视化分析
# fs.plot_correlation_heatmap()
# fs.plot_feature_importances(n=10)

更多详细用法和可视化示例，请参考官方 Feature Selector Usage notebook。