LOFO（Leave One Feature Out）重要性分析是一种基于所选指标和模型的方法，用于计算一组特征的重要性。其核心思想是通过迭代地从特征集中移除每个特征，并在选定的验证方案下，根据所选指标评估模型性能，从而得出各特征的重要性。

LOFO首先评估包含所有输入特征时模型的性能，然后逐个移除特征、重新训练模型，并在验证集上再次评估模型性能。最后，报告每个特征重要性的均值和标准差（跨折数）。

如果未向LOFO重要性分析传递模型，则默认使用LightGBM作为基线模型。

安装

可以通过以下命令安装LOFO重要性分析工具：

pip install lofo-importance

LOFO重要性分析的优势

与其它特征重要性方法相比，LOFO具有以下优势：

• 不偏向于细粒度特征；
• 对未见过的测试集泛化能力更强；
• 模型无关，适用于任何类型的模型；
• 能够为加入后会降低模型性能的特征赋予负重要性；
• 支持对特征进行分组，尤其适用于高维特征，如TFIDF或独热编码特征；
• 可自动将高度相关的特征归为一组，避免低估其重要性。

Kaggle微软恶意软件预测竞赛示例

在该Kaggle竞赛中，微软提供了一个恶意软件数据集，目标是预测某台机器是否即将遭受恶意软件攻击。其中一个特征“Centos_OSVersion”在训练集上具有很强的预测能力，因为某些操作系统版本可能更容易出现漏洞和故障。然而，当按时间顺序划分数据时，验证集中的操作系统版本并未出现在训练集中，因此模型无法学习到目标变量与该季节性特征之间的关系。若使用其他特征重要性方法评估此特征的重要性，由于仅基于训练集计算，可能会得出其重要性较高的结论。而LOFO重要性分析依赖于验证方案，因此不仅会给出较低的重要性评分，甚至可能为负值。

import pandas as pd
from sklearn.model_selection import KFold
from lofo import LOFOImportance, Dataset, plot_importance
%matplotlib inline

# 导入数据
train_df = pd.read_csv("../input/train.csv", dtype=dtypes)

# 抽取数据样本
sample_df = train_df.sample(frac=0.01, random_state=0)
sample_df.sort_values("AvSigVersion", inplace=True) # 按时间排序，以便进行时间序列交叉验证

# 定义验证方案
cv = KFold(n_splits=4, shuffle=False, random_state=None) # 不打乱顺序，以保持时间序列验证

# 定义二分类目标及特征
dataset = Dataset(df=sample_df, target="HasDetections", features=[col for col in train_df.columns if col != "HasDetections"])

# 定义验证方案和评分函数。默认模型为LightGBM
lofo_imp = LOFOImportance(dataset, cv=cv, scoring="roc_auc")

# 获取重要性均值和标准差，并以Pandas格式展示
importance_df = lofo_imp.get_importance()

# 绘制重要性均值和标准差
plot_importance(importance_df, figsize=(12, 20))

另一个示例：Kaggle TReNDS竞赛

在该Kaggle竞赛中，参赛者需要预测患者的某些认知属性。比赛提供了来自静息态功能磁共振成像（sMRI）的独立成分特征（IC），以及来自三维功能磁共振成像（fMRI）的超高维相关性特征（FNC）。LOFO可以将这些fMRI相关性特征合并为一组。

def get_lofo_importance(target):
    cv = KFold(n_splits=7, shuffle=True，random_state=17)

    dataset = Dataset(df=df[df[target].notnull()], target=target，features=loading_features，
                      feature_groups={"fnc": df[df[target].notnull()][fnc_features].values
                      })

    model = Ridge(alpha=0.01)
    lofo_imp = LOFOImportance(dataset，cv=cv，scoring="neg_mean_absolute_error"，model=model)

    return lofo_imp.get_importance()

plot_importance(get_lofo_importance(target="domain1_var1")，figsize=(8，8)，kind="box")

FLOFO重要性分析

如果您觉得运行LOFO重要性分析工具耗时过长，可以尝试使用Fast LOFO。Fast LOFO（简称FLOFO）接受已训练好的模型和验证集作为输入，对每个特征的取值进行伪随机排列，然后利用训练好的模型在验证集上进行预测。最终，FLOFO重要性即为模型在多次随机排列后的验证集表现差异的平均值。

FLOFO重要性与置换重要性的区别在于：FLOFO的特征取值排列是在分组内进行的，分组方式是将验证集按每k=2个特征划分为若干组。随机选择n=10组，基于这n次运行的结果计算FLOFO重要性的均值和标准差。这种分组方式能够提升重要性度量的准确性，原因在于特征取值的排列不再是完全随机的，而是发生在相似样本的组内，相当于对样本进行了噪声扰动。这样可以确保：

• 特征取值不太可能被替换为不合理的值；
• 如果某个特征的预测能力主要依赖于所选n×k个特征中的其他特征，那么在排列过程中它会被替换成非常相似的值，因此对模型性能的影响较小，从而得到较小的FLOFO重要性值。这有效解决了相关特征被高估的问题。

LOFO Importance 快速上手指南

LOFO (Leave One Feature Out) Importance 是一种模型无关的特征重要性评估工具。它通过迭代移除每个特征并重新训练模型，基于选定的验证方案和指标来评估特征对模型性能的实际贡献。相比传统方法，它能有效避免高维特征偏差、处理特征相关性，并能识别出对模型性能有负面影响的特征。

环境准备

• 系统要求：支持 Python 3.6+ 的操作系统（Linux, macOS, Windows）。
• 前置依赖：
  • Python 包管理工具 pip
  • 核心依赖库：pandas, scikit-learn, lightgbm (若使用默认模型), matplotlib (若需绘图)
  • 建议预先安装基础数据科学栈，例如通过 conda 或 pip 安装 pandas 和 scikit-learn。

安装步骤

推荐使用国内镜像源加速安装过程。

使用 pip 安装（推荐阿里云镜像）：

pip install lofo-importance -i https://mirrors.aliyun.com/pypi/simple/

或者使用官方源安装：

pip install lofo-importance

基本使用

以下是一个基于 Kaggle 数据集的最简使用示例，展示如何定义数据集、设置时间序列验证方案并计算特征重要性。

1. 导入依赖与数据准备

import pandas as pd
from sklearn.model_selection import KFold
from lofo import LOFOImportance, Dataset, plot_importance

# 导入数据 (此处以读取 CSV 为例)
# train_df = pd.read_csv("your_data.csv")

# 为了演示，假设已有 DataFrame: train_df
# 提取样本并按时间排序（针对时间序列验证场景）
sample_df = train_df.sample(frac=0.01, random_state=0)
sample_df.sort_values("AvSigVersion", inplace=True) 

2. 定义验证方案与数据集

LOFO 的核心优势在于其灵活的验证机制。以下示例展示了如何设置不洗牌（保持时间顺序）的 K 折交叉验证。

# 定义验证方案：4 折交叉验证，不打乱顺序以保留时间分割特性
cv = KFold(n_splits=4, shuffle=False, random_state=None)

# 定义目标列和特征列
target_col = "HasDetections"
feature_cols = [col for col in train_df.columns if col != target_col]

# 创建 Dataset 对象
dataset = Dataset(
    df=sample_df, 
    target=target_col, 
    features=feature_cols
)

3. 计算并可视化重要性

如果不指定模型，LOFO 默认使用 LightGBM。你可以直接获取重要性评分并绘图。

# 初始化 LOFOImportance
# scoring 参数可根据任务类型调整，如 'roc_auc', 'neg_mean_absolute_error' 等
lofo_imp = LOFOImportance(dataset, cv=cv, scoring="roc_auc")

# 获取重要性结果 (返回包含均值和标准差的 DataFrame)
importance_df = lofo_imp.get_importance()

# 打印前几行查看结果
print(importance_df.head())

# 绘制特征重要性图
plot_importance(importance_df, figsize=(12, 20))

进阶提示：特征分组

对于高维特征（如 TF-IDF 或 One-Hot 编码产生的大量特征），可以通过 feature_groups 参数将它们分组评估，避免低估整体重要性。

# 示例：将多个相关特征归为一组 "group_name"
dataset = Dataset(
    df=df, 
    target="target_col", 
    features=["single_feature_1", "single_feature_2"],
    feature_groups={
        "high_dim_group": df[["fnc_feat_1", "fnc_feat_2", ...]].values
    }
)