宾夕法尼亚大学机器学习基准测试集

本仓库包含用于评估和比较监督学习算法的一组大型、精心 curated 的基准数据集的代码和数据。这些数据集涵盖了广泛的应用场景，包括二分类/多分类问题和回归问题，以及类别型、有序型和连续型特征的组合。

请访问我们的主页，以交互式方式浏览数据集、简要说明文档和贡献指南！

PMLB 1.0 中的重大变更

本仓库已进行重构，多个数据集名称已被更改！

如果您使用的是旧版本的 PMLB，我们强烈建议您将其升级至 v1.0，以获得更新的数据集 URL 和名称：

pip install pmlb --upgrade

数据集

数据集通过 Git 大文件存储（LFS）进行管理。如果您希望克隆整个仓库，请为您的用户账户安装并设置 Git LFS。或者，您也可以从 GitHub 下载 .zip 文件。

所有数据集均采用通用格式：

• 第一行是列名
• 每一行对应数据集中的一条记录
• 目标列名为 target
• 所有列以制表符 (\t) 分隔
• 所有文件均使用 gzip 压缩以节省空间

数据集特征的完整表格也可供下载。请注意，在我们的文档中，特征被定义为：

• “二值”：如果特征为整数类型且仅有 2 个唯一值（等同于 pandas profiling 中的“布尔型”）
• “类别”：如果特征为整数类型且具有 超过 2 个唯一值（等同于 pandas profiling 中的“类别型”）
• “连续”：如果特征为浮点数类型（等同于 pandas profiling 中的“数值型”）

Python 封装库

为了方便访问基准数据集，我们提供了一个名为 pmlb 的 Python 封装库。该库可通过 pip 安装到 Python 环境中：

pip install pmlb

并在 Python 脚本中按如下方式使用：

from pmlb import fetch_data

# 返回一个 pandas DataFrame
adult_data = fetch_data('adult')
print(adult_data.describe())

fetch_data 函数还有两个附加参数：

• return_X_y（True/False）：是否以 scikit-learn 格式返回数据，即特征和标签分别存储在独立的 NumPy 数组中。
• local_cache_dir（字符串）：本地机器上用于存储数据文件的目录，以便无需再次从网络下载。默认情况下，封装库不使用本地缓存目录。

例如：

from pmlb import fetch_data

# 返回 NumPy 数组
adult_X, adult_y = fetch_data('adult', return_X_y=True, local_cache_dir='./')
print(adult_X)
print(adult_y)

您还可以列出所有可用的数据集：

from pmlb import dataset_names

print(dataset_names)

或者，如果您只想获取分类或回归数据集的列表：

from pmlb import classification_dataset_names, regression_dataset_names

print(classification_dataset_names)
print('')
print(regression_dataset_names)

使用示例：利用 PMLB 比较两种分类算法

PMLB 的设计宗旨是便于对机器学习算法进行基准测试和相互比较。以下是一个 Python 代码片段，展示了使用 PMLB 比较两种算法的最基本方法。

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split

import matplotlib.pyplot as plt
import seaborn as sb

from pmlb import fetch_data, classification_dataset_names

logit_test_scores = []
gnb_test_scores = []

for classification_dataset in classification_dataset_names:
    X, y = fetch_data(classification_dataset, return_X_y=True)
    train_X, test_X, train_y, test_y = train_test_split(X, y)

    logit = LogisticRegression()
    gnb = GaussianNB()

    logit.fit(train_X, train_y)
    gnb.fit(train_X, train_y)

    logit_test_scores.append(logit.score(test_X, test_y))
    gnb_test_scores.append(gnb.score(test_X, test_y))

sb.boxplot(data=[logit_test_scores, gnb_test_scores], notch=True)
plt.xticks([0, 1], ['LogisticRegression', 'GaussianNB'])
plt.ylabel('测试准确率')

贡献说明

请参阅我们的贡献指南。我们欢迎对文档的支持，并非常感谢新数据集和功能的贡献。

引用 PMLB

如果您在科学出版物中使用了 PMLB，请考虑引用以下论文之一：

Joseph D. Romano, Le, Trang T., William La Cava, John T. Gregg, Daniel J. Goldberg, Praneel Chakraborty, Natasha L. Ray, Daniel Himmelstein, Weixuan Fu, and Jason H. Moore. PMLB v1.0：用于基准测试机器学习方法的开源数据集集合。 arXiv 预印本 arXiv:2012.00058（2020 年）。

@article{romano2021pmlb,
  title={PMLB v1.0: an open source dataset collection for benchmarking machine learning methods},
  author={Romano, Joseph D and Le, Trang T and La Cava, William and Gregg, John T and Goldberg, Daniel J and Chakraborty, Praneel and Ray, Natasha L and Himmelstein, Daniel and Fu, Weixuan and Moore, Jason H},
  journal={arXiv preprint arXiv:2012.00058v2},
  year={2021}
}

Randal S. Olson, William La Cava, Patryk Orzechowski, Ryan J. Urbanowicz, and Jason H. Moore（2017 年）。PMLB：用于机器学习评估和比较的大型基准测试套件。BioData Mining 10，第 36 页。

BibTeX 条目：

@article{Olson2017PMLB,
    author="Olson, Randal S. and La Cava, William and Orzechowski, Patryk and Urbanowicz, Ryan J. and Moore, Jason H.",
    title="PMLB: a large benchmark suite for machine learning evaluation and comparison",
    journal="BioData Mining",
    year="2017",
    month="Dec",
    day="11",
    volume="10",
    number="1",
    pages="36",
    issn="1756-0381",
    doi="10.1186/s13040-017-0154-4",
    url="https://doi.org/10.1186/s13040-017-0154-4"
}

PMLB 的支持

PMLB 由 宾夕法尼亚大学 的 计算遗传学实验室 在 美国国立卫生研究院 的资助下开发，资助项目编号为 AI117694、LM010098 和 LM012601。我们对 NIH 和宾夕法尼亚大学在本项目开发过程中的大力支持深表感激。

PMLB 快速上手指南

PMLB (Penn Machine Learning Benchmarks) 是一个用于评估和比较监督学习算法的大型基准数据集集合。它涵盖了分类（二分类/多分类）和回归问题，包含多种特征类型。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：建议 Python 3.6 及以上
• 前置依赖：
  • pandas (用于数据处理)
  • numpy (用于数值计算)
  • scikit-learn (如果使用 return_X_y=True 或进行模型训练)
  • git-lfs (仅当需要手动克隆整个仓库时必需，使用 pip 安装则不需要)

安装步骤

推荐使用 pip 进行安装。国内开发者建议使用清华源或阿里源以加速下载。

pip install pmlb -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果您之前安装过旧版本的 PMLB，请执行升级命令以获取最新的数据集名称和 URL：

pip install pmlb --upgrade -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 加载数据集 (DataFrame 格式)

最简单的用法是直接获取一个 pandas DataFrame。以下示例加载著名的 "adult" 数据集：

from pmlb import fetch_data

# 返回 pandas DataFrame
adult_data = fetch_data('adult')
print(adult_data.describe())

2. 加载数据集 (Scikit-learn 格式)

若需直接用于机器学习模型训练，可设置 return_X_y=True 获取分离的特征矩阵和标签数组，并指定本地缓存目录避免重复下载：

from pmlb import fetch_data

# 返回 NumPy 数组 (X, y)
adult_X, adult_y = fetch_data('adult', return_X_y=True, local_cache_dir='./cache')
print(adult_X.shape)
print(adult_y.shape)

3. 查看可用数据集

您可以列出所有可用的数据集，或分别查看分类和回归任务的数据集列表：

from pmlb import dataset_names, classification_dataset_names, regression_dataset_names

# 查看所有数据集
print(dataset_names)

# 查看分类数据集
print(classification_dataset_names)

# 查看回归数据集
print(regression_dataset_names)

4. 快速基准测试示例

以下代码演示了如何在多个分类数据集上对比逻辑回归和高斯朴素贝叶斯两个算法：

from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import train_test_split
from pmlb import fetch_data, classification_dataset_names

logit_scores = []
gnb_scores = []

# 遍历前 5 个分类数据集作为示例 (完整测试可移除切片操作)
for name in classification_dataset_names[:5]:
    X, y = fetch_data(name, return_X_y=True)
    train_X, test_X, train_y, test_y = train_test_split(X, y, random_state=42)

    # 训练模型
    logit = LogisticRegression(max_iter=1000)
    gnb = GaussianNB()
    
    logit.fit(train_X, train_y)
    gnb.fit(train_X, train_y)

    # 记录准确率
    logit_scores.append(logit.score(test_X, test_y))
    gnb_scores.append(gnb.score(test_X, test_y))

print(f"Logistic Regression Avg Accuracy: {sum(logit_scores)/len(logit_scores):.4f}")
print(f"GaussianNB Avg Accuracy: {sum(gnb_scores)/len(gnb_scores):.4f}")