什么是 mRMR

mRMR 是“最小冗余—最大相关性”的缩写，是一种特征选择算法。

它的独特之处

mRMR 的独特之处在于它是一种最小-最优的特征选择算法。
这意味着它旨在为给定的机器学习任务找到最小的相关特征子集。

选择最少数量的有用特征有许多好处：

• 内存消耗，
• 计算时间，
• 模型性能，
• 结果的可解释性。

因此，像 mRMR 这样的最小-最优方法通常更受青睐。

相反，大多数其他方法（例如 Boruta 或正向特征重要性）被归类为全相关方法， 因为它们会识别出与目标变量存在某种关系的所有特征。

何时使用 mRMR

由于其高效性，mRMR 非常适合实际的机器学习应用， 特别是在需要频繁且自动地进行特征选择，并且要求在较短时间内完成的情况下。

例如，在 2019 年，Uber 的工程师发表了一篇论文，描述了他们如何在其营销机器学习平台中实现 mRMR 用于营销机器学习平台的最大相关性和最小冗余特征选择方法。

如何安装这个包

您可以通过 pip 将此包安装到您的环境中：

pip install mrmr_selection

然后在 Python 中通过以下方式导入：

import mrmr

如何使用这个包

该包旨在根据您的需求和限制，通过不同的工具来执行 mRMR 特征选择。

目前支持以下工具（未来还将增加更多）：

• Pandas
• Polars
• Spark
• Google BigQuery

该包为每个支持的工具都提供了一个模块。每个模块至少包含以下两个函数：

• mrmr_classif，用于目标变量为分类变量（二分类或多分类）时的特征选择。
• mrmr_regression，用于目标变量为数值型时的特征选择。

下面我们来看几个示例。

1. Pandas 示例

您有一个 Pandas DataFrame (X) 和一个表示目标变量的 Series (y)。 您希望选择最佳的 K 个特征来对 y 进行预测。

# 创建一些 Pandas 数据
import pandas as pd
from sklearn.datasets import make_classification
X, y = make_classification(n_samples = 1000, n_features = 50, n_informative = 10, n_redundant = 40)
X = pd.DataFrame(X)
y = pd.Series(y)

# 使用 mRMR 选择前 10 个特征
from mrmr import mrmr_classif
selected_features = mrmr_classif(X=X, y=y, K=10)

注意：mrmr_classif 的输出是一个包含 K 个选定特征的列表。这是一个排序列表，因此如果您需要进一步筛选，只需取该列表的前几个元素即可。

2. Polars 示例

# 创建一些 Polars 数据
import polars
data = [(1.0, 1.0, 1.0, 7.0, 1.5, -2.3), 
        (2.0, None, 2.0, 7.0, 8.5, 6.7), 
        (2.0, None, 3.0, 7.0, -2.3, 4.4),
        (3.0, 4.0, 3.0, 7.0, 0.0, 0.0),
        (4.0, 5.0, 4.0, 7.0, 12.1, -5.2)]
columns = ["target", "some_null", "feature", "constant", "other_feature", "another_feature"]
df_polars = polars.DataFrame(data=data, schema=columns)

# 使用 mRMR 选择前 2 个特征
import mrmr
selected_features = mrmr.polars.mrmr_regression(df=df_polars, target_column="target", K=2)

3. Spark 示例

# 创建一些 Spark 数据
import pyspark
session = pyspark.sql.SparkSession(pyspark.context.SparkContext())
data = [(1.0, 1.0, 1.0, 7.0, 1.5, -2.3), 
        (2.0, float('NaN'), 2.0, 7.0, 8.5, 6.7), 
        (2.0, float('NaN'), 3.0, 7.0, -2.3, 4.4),
        (3.0, 4.0, 3.0, 7.0, 0.0, 0.0),
        (4.0, 5.0, 4.0, 7.0, 12.1, -5.2)]
columns = ["target", "some_null", "feature", "constant", "other_feature", "another_feature"]
df_spark = session.createDataFrame(data=data, schema=columns)

# 使用 mRMR 选择前 2 个特征
import mrmr
selected_features = mrmr.spark.mrmr_regression(df=df_spark, target_column="target", K=2)

4. Google BigQuery 示例

# 初始化 BigQuery 客户端
from google.cloud.bigquery import Client
bq_client = Client(credentials=your_credentials)

# 使用 mRMR 选择前 20 个特征
import mrmr
selected_features = mrmr.bigquery.mrmr_regression(
    bq_client=bq_client,
    table_id='bigquery-public-data.covid19_open_data.covid19_open_data',
    target_column='new_deceased',
    K=20
)

参考资料

想要轻松了解 mRMR？请阅读我在 Towards Data Science 上的文章：“MRMR”究竟是如何被你期望的方式解释清楚的。

此外，这篇文章还介绍了一个在世界著名的 MNIST 数据集上使用 mRMR 的示例：特征选择：如何丢弃 95% 的数据并获得 95% 的准确率。

mRMR 最早诞生于 2003 年，其原始论文为：来自微阵列基因表达数据的最小冗余特征选择。

自那以后，由于其简单性和有效性，mRMR 已被广泛应用于各种实际场景。例如，在 2019 年，Uber 的工程师发表了一篇论文，描述了他们如何在营销机器学习平台中实现 mRMR 用于营销机器学习平台的最大相关性和最小冗余特征选择方法。

mRMR 快速上手指南

mRMR（Minimum Redundancy - Maximum Relevance）是一种最小最优特征选择算法。与寻找所有相关特征的“全相关”方法不同，mRMR 旨在为机器学习任务找到数量最少但最相关的特征子集，从而降低内存消耗、缩短训练时间并提升模型可解释性。该库支持 Pandas、Polars、Spark 和 Google BigQuery 等多种数据处理工具。

环境准备

• 系统要求：支持 Windows、Linux 或 macOS。
• Python 版本：建议 Python 3.7 及以上。
• 前置依赖：
  • 基础使用需安装 pandas 和 scikit-learn（用于数据演示）。
  • 若使用其他后端，需分别安装 polars、pyspark 或 google-cloud-bigquery。

安装步骤

通过 pip 安装核心包：

pip install mrmr_selection

提示：国内用户推荐使用清华或阿里镜像源加速安装：

pip install mrmr_selection -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后，在 Python 中导入：

import mrmr

基本使用

以下以最常见的 Pandas 场景为例，演示如何从分类任务中选择前 K 个最佳特征。

场景：分类任务特征选择

假设你有一个特征 DataFrame (X) 和一个分类目标 Series (y)，需要选出最重要的 10 个特征：

# 1. 准备数据 (示例数据)
import pandas as pd
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=1000, n_features=50, n_informative=10, n_redundant=40)
X = pd.DataFrame(X)
y = pd.Series(y)

# 2. 执行 mRMR 特征选择
from mrmr import mrmr_classif

# 选择前 10 个特征
selected_features = mrmr_classif(X=X, y=y, K=10)

# 输出结果为特征名列表，按重要性排序
print(selected_features)

核心函数说明

根据目标变量类型选择对应函数：

• 分类任务（目标为类别）：使用 mrmr.mrmr_classif
• 回归任务（目标为数值）：使用 mrmr.mrmr_regression

返回结果是一个有序列表，列表前方的特征重要性最高。你可以直接截取列表前 N 项来灵活控制最终保留的特征数量。