MLFeatureSelection

基于特定机器学习算法和评估方法的通用特征选择工具。

多样、灵活且易于使用

未来还将加入更多特征选择方法！

快速安装

pip3 install MLFeatureSelection

0.0.9.5.1 版本模块

• 基于贪心算法的特征选择模块（来自 MLFeatureSelection import sequence_selection）
• 基于特征重要性去除特征的模块（来自 MLFeatureSelection import importance_selection）
• 基于相关系数去除特征的模块（来自 MLFeatureSelection import coherence_selection）
• 从日志文件中读取特征组合的模块（来自 MLFeatureSelection.tools import readlog）

该特征选择方法取得的成绩

• 荣360 第一名

-- https://github.com/duxuhao/rong360-season2

• JData-2018 第六名

-- https://github.com/duxuhao/JData-2018

• IJCAI-2018 初赛第十二名

-- https://github.com/duxuhao/IJCAI-2018-2

模块使用示例

示例

sequence_selection

from MLFeatureSelection import sequence_selection
from sklearn.linear_model import LogisticRegression

sf = sequence_selection.Select(Sequence = True, Random = True, Cross = False) 
sf.ImportDF(df,label = 'Label') #导入数据框及标签
sf.ImportLossFunction(lossfunction, direction = 'ascend') #导入损失函数句柄及优化方向，'ascend' 用于 AUC、ACC，'descend' 用于 logloss 等
sf.InitialNonTrainableFeatures(notusable) #数据框中不可训练的特征，如 user_id、字符串等
sf.InitialFeatures(initialfeatures) #初始化初始特征列表
sf.GenerateCol() #生成待选择的特征
sf.SetFeatureEachRound(50, False) #设置每轮选择的特征数量，并指定从所有特征中如何选取（True：随机抽样，False：分块选取）
sf.clf = LogisticRegression() #设置所选算法，可为任意算法
sf.SetLogFile('record.log') #设置日志文件
sf.run(validate) #运行并传入验证函数，validate 为验证函数句柄，返回最佳特征组合

importance_selection

from MLFeatureSelection import importance_selection
import xgboost as xgb

sf = importance_selection.Select() 
sf.ImportDF(df,label = 'Label') #导入数据框及标签
sf.ImportLossFunction(lossfunction, direction = 'ascend') #导入损失函数及优化方向
sf.InitialFeatures() #初始化输入特征
sf.SelectRemoveMode(batch = 2)
sf.clf = xgb.XGBClassifier() 
sf.SetLogFile('record.log') #设置日志文件
sf.run(validate) #运行并传入验证函数，返回最佳特征组合

coherence_selection

from MLFeatureSelection import coherence_selection
import xgboost as xgb

sf = coherence_selection.Select() 
sf.ImportDF(df,label = 'Label') #导入数据框及标签
sf.ImportLossFunction(lossfunction, direction = 'ascend') #导入损失函数及优化方向
sf.InitialFeatures() #初始化输入特征
sf.SelectRemoveMode(batch = 2)
sf.clf = xgb.XGBClassifier() 
sf.SetLogFile('record.log') #设置日志文件
sf.run(validate) #运行并传入验证函数，返回最佳特征组合

tools.readlog：从日志中读取先前选择的特征

from MLFeatureSelection.tools import readlog

logfile = 'record.log'
logscore = 0.5 #日志中的任意分数
features_combination = readlog(logfile, logscore)

tools.filldf：当存在交叉项特征时补全数据集

from MLFeatureSelection.tools import readlog, filldf

def add(x,y):
    return x + y

def substract(x,y):
    return x - y

def times(x,y):
    return x * y

def divide(x,y):
    return x/y

def sq(x,y):
    return x ** 2


CrossMethod = {'+':add,
               '-':substract,
               '*':times,
               '/':divide,
               } # 设置您自己的交叉方法

df = pd.read_csv('XXX')
logfile = 'record.log'
logscore = 0.5 #日志中的任意分数
features_combination = readlog(logfile, logscore)
df = filldf(df, features_combination, CrossMethod)

validate 和 lossfunction 的格式

您可以自定义：

validate：验证方法函数，例如 k 折交叉验证、最后时间切片验证、随机采样验证等。

lossfunction：模型性能评估方法，例如 logloss、AUC、准确率等。

def validate(X, y, features, clf, lossfunction):
    """自定义验证函数，包含 5 个参数：
    输入为 X、y、features、clf、lossfunction。
    clf 由 SetClassifier() 设置，
    lossfunction 在前期导入，
    features 将自动生成。
    函数返回得分和训练好的分类器。
    """
    clf.fit(X[features],y)
    y_pred = clf.predict(X[features])
    score = lossfuntion(y_pred,y)
    return score, clf
    
def lossfunction(y_pred, y_test):
    """自定义损失函数，接收 y_pred 和 y_test，
    返回得分。
    """
    return np.mean(y_pred == y_test)

多进程处理

在进行 N 折交叉验证时，可在 validate 函数中设置多进程处理。

演示

示例文件夹中添加了更多示例，包括：

• 包含所有模块的演示（demo）
• 使用 5 折交叉验证并以准确率评估的简单泰坦尼克号案例（demo）
• 用于 JData 2018 预测购买时间竞赛中 S1、S2 分数提升的演示（demo）
• 用于 IJCAI 2018 CTR 预测的演示（demo）

函数参数

参数

算法详情

详情

MLFeatureSelection 快速上手指南

MLFeatureSelection 是一个基于机器学习算法和评估方法的通用特征选择工具库，具有多样性、灵活性和易用性。该库曾帮助作者在多个数据竞赛（如融 360、JData-2018、IJCAI-2018）中取得优异成绩。

环境准备

• 系统要求：支持 Windows、Linux、macOS
• Python 版本：建议 Python 3.6 及以上
• 前置依赖：
  • pandas
  • scikit-learn
  • numpy
  • 可选：xgboost、lightgbm 等模型库（根据实际使用的算法安装）

确保已安装基础数据科学库，例如：

pip3 install pandas scikit-learn numpy

安装步骤

通过 PyPI 直接安装最新稳定版：

pip3 install MLFeatureSelection

💡 国内加速建议：如遇下载缓慢，可使用清华或阿里云镜像源：

pip3 install MLFeatureSelection -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下以基于特征重要性的选择方法（importance_selection）为例，展示最简使用流程。假设你已有一个包含特征和目标列的 DataFrame df，目标列为 'Label'。

示例代码

from MLFeatureSelection import importance_selection
import xgboost as xgb
import pandas as pd
import numpy as np

# 自定义验证函数（5 折交叉验证示例）
def validate(X, y, features, clf, lossfunction):
    from sklearn.model_selection import cross_val_score
    score = cross_val_score(clf, X[features], y, cv=5, scoring='accuracy').mean()
    clf.fit(X[features], y)  # 在全量训练集上重新训练
    return score, clf

# 自定义损失/评估函数（此处用准确率）
def lossfunction(y_pred, y_test):
    return np.mean(y_pred == y_test)

# 初始化选择器
sf = importance_selection.Select()

# 导入数据
sf.ImportDF(df, label='Label')

# 设置评估方向（'ascend' 表示分数越高越好，如 AUC、Accuracy；'descend' 用于 logloss 等）
sf.ImportLossFunction(lossfunction, direction='ascend')

# 初始化特征列表（若不传则默认使用所有数值型特征）
sf.InitialFeatures()

# 设置每轮移除特征的数量
sf.SelectRemoveMode(batch=2)

# 指定基学习器
sf.clf = xgb.XGBClassifier()

# 设置日志文件（记录每轮特征组合与得分）
sf.SetLogFile('record.log')

# 运行特征选择
best_score, best_clf = sf.run(validate)

print("最佳特征组合得分:", best_score)

说明

• validate 函数需接收 5 个参数：X, y, features, clf, lossfunction，返回 (score, trained_clf)。
• lossfunction 接收预测值和真实值，返回标量评分。
• 日志文件 record.log 可用于后续通过 tools.readlog 读取历史最优特征组合。

更多用法（如贪心序列选择 sequence_selection、相关性剔除 coherence_selection）请参考官方 Demo Notebook。