SciKit-Learn 实验室

.. image:: https://gitlab.com/EducationalTestingService/skll/badges/main/pipeline.svg :target: https://gitlab.com/EducationalTestingService/skll/-/pipelines :alt: GitLab CI 状态

.. image:: https://dev.azure.com/EducationalTestingService/SKLL/_apis/build/status/EducationalTestingService.skll :target: https://dev.azure.com/EducationalTestingService/SKLL/_build?view=runs :alt: Azure Pipelines 状态

.. image:: https://codecov.io/gh/EducationalTestingService/skll/branch/main/graph/badge.svg :target: https://codecov.io/gh/EducationalTestingService/skll

.. image:: https://img.shields.io/pypi/v/skll.svg :target: https://pypi.org/project/skll/ :alt: PyPI 上的最新版本

.. image:: https://img.shields.io/pypi/l/skll.svg :alt: 许可证

.. image:: https://img.shields.io/conda/v/ets/skll.svg :target: https://anaconda.org/ets/skll :alt: SKLL 的 Conda 包

.. image:: https://img.shields.io/pypi/pyversions/skll.svg :target: https://pypi.org/project/skll/ :alt: SKLL 支持的 Python 版本

.. image:: https://img.shields.io/badge/DOI-10.5281%2Fzenodo.12825-blue.svg :target: http://dx.doi.org/10.5281/zenodo.12825 :alt: 用于引用 SKLL 1.0.0 的 DOI

.. image:: https://mybinder.org/badge_logo.svg :target: https://mybinder.org/v2/gh/EducationalTestingService/skll/main?filepath=examples%2FTutorial.ipynb

这个 Python 包提供命令行工具，使使用 scikit-learn 运行机器学习实验变得更加容易。我们项目的主要目标之一是让您无需编写任何代码（除了用于生成或提取特征的代码），就能运行 scikit-learn 实验。

安装

您可以使用 ``pip`` 或 ``conda`` 进行安装。详细信息请参见 `这里 <https://skll.readthedocs.io/en/latest/getting_started.html>`__。

要求

• Python 3.10、3.11 或 3.12。
• beautifulsoup4 <http://www.crummy.com/software/BeautifulSoup/>__
• gridmap <https://pypi.org/project/gridmap/>__（仅在您计划在兼容 DRMAA 的集群上并行运行时需要）
• joblib <https://pypi.org/project/joblib/>__
• pandas <http://pandas.pydata.org>__
• ruamel.yaml <http://yaml.readthedocs.io/en/latest/overview.html>__
• scikit-learn <http://scikit-learn.org/stable/>__
• seaborn <http://seaborn.pydata.org>__
• tabulate <https://pypi.org/project/tabulate/>__

命令行界面

我们提供的主要工具名为 ``run_experiment``，可用于轻松地在配置文件中指定的数据集上运行一系列学习器，例如：

.. code:: ini

  [General]
  experiment_name = Titanic_Evaluate_Tuned
  # valid tasks: cross_validate, evaluate, predict, train
  task = evaluate

  [Input]
  # these directories could also be absolute paths
  # (and must be if you're not running things in local mode)
  train_directory = train
  test_directory = dev
  # Can specify multiple sets of feature files that are merged together automatically
  featuresets = [["family.csv", "misc.csv", "socioeconomic.csv", "vitals.csv"]]
  # List of scikit-learn learners to use
  learners = ["RandomForestClassifier", "DecisionTreeClassifier", "SVC", "MultinomialNB"]
  # Column in CSV containing labels to predict
  label_col = Survived
  # Column in CSV containing instance IDs (if any)
  id_col = PassengerId

  [Tuning]
  # Should we tune parameters of all learners by searching provided parameter grids?
  grid_search = true
  # Function to maximize when performing grid search
  objectives = ['accuracy']

  [Output]
  # Also compute the area under the ROC curve as an additional metric
  metrics = ['roc_auc']
  # The following can also be absolute paths
  logs = output
  results = output
  predictions = output
  probability = true
  models = output

有关如何开始使用 ``run_experiment`` 的更多信息，请查看我们的 `教程 <https://skll.readthedocs.org/en/latest/tutorial.html>`__ 或 `配置文件规范 <https://skll.readthedocs.org/en/latest/run_experiment.html>`__。

您还可以按照这个 `交互式 Jupyter 教程 <https://mybinder.org/v2/gh/AVajpayeeJr/skll/feature/448-interactive-binder?filepath=examples>`__ 进行操作。

我们还提供了以下实用工具：

-  `在机器学习工具包格式之间进行转换 <https://skll.readthedocs.org/en/latest/utilities.html#skll-convert>`__（例如 ARFF、CSV）
-  `过滤特征文件 <https://skll.readthedocs.org/en/latest/utilities.html#filter-features>`__
-  `合并特征文件 <https://skll.readthedocs.org/en/latest/utilities.html#join-features>`__
-  `其他常见任务 <https://skll.readthedocs.org/en/latest/utilities.html>`__


Python API
~~~~~~~~~~

如果您只想避免编写大量的样板学习代码，也可以使用我们简单的 Python API，它同样支持 pandas DataFrame。您将主要通过 ``Learner`` 和 ``Reader`` 类来使用该 API。有关我们 API 的更多详细信息，请参阅 `文档 <https://skll.readthedocs.org/en/latest/api.html>`__。

虽然我们的 API 具有广泛的实用性，但需要注意的是，命令行工具才是使用 SKLL 的主要方式。API 只是我们开发这些工具的一个顺带成果。


关于发音的说明

.. image:: doc/skll.png :alt: SKLL 标志 :align: right

.. container:: clear

.. image:: doc/spacer.png

SciKit-Learn Laboratory（SKLL）的发音是“skull”：学习就发生在这里。

演讲

-  *使用 SKLL 1.0 进行更简单的机器学习*，Dan Blanchard，PyData NYC 2014 (`视频 <https://www.youtube.com/watch?v=VEo2shBuOrc&feature=youtu.be&t=1s>`__ | `幻灯片 <http://www.slideshare.net/DanielBlanchard2/py-data-nyc-2014>`__)
-  *使用 SKLL 进行更简单的机器学习*，Dan Blanchard，PyData NYC 2013 (`视频 <http://vimeo.com/79511496>`__ | `幻灯片 <http://www.slideshare.net/DanielBlanchard2/simple-machine-learning-with-skll>`__)

引用

如果您在工作中使用了 SKLL，可以这样引用：“我们通过 SKLL 工具包（https://github.com/EducationalTestingService/skll）使用了 scikit-learn（Pedragosa 等，2011 年）。”

书籍

SKLL 被收录在 `Jeroen Janssens <http://jeroenjanssens.com>`__ 所著的《命令行上的数据科学》一书中。

变更日志

请参阅 GitHub 发布页面 <https://github.com/EducationalTestingService/skll/releases>__。

贡献

感谢您对 SKLL 的贡献兴趣！有关如何开始贡献的说明，请参阅 `CONTRIBUTING.md <https://github.com/EducationalTestingService/skll/blob/main/CONTRIBUTING.md>`__。

SKLL (SciKit-Learn Laboratory) 快速上手指南

SKLL 是一个基于 scikit-learn 的 Python 工具包，旨在通过命令行配置文件的方式简化机器学习实验流程。无需编写大量样板代码，即可轻松运行分类、回归、交叉验证等任务。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：3.10, 3.11 或 3.12
• 核心依赖：
  • scikit-learn
  • pandas
  • joblib
  • seaborn
  • beautifulsoup4
  • ruamel.yaml
  • tabulate
  • gridmap (仅当需要在 DRMAA 兼容集群上并行运行时需要)

提示：国内用户建议使用清华或阿里镜像源加速依赖下载。

2. 安装步骤

您可以选择使用 pip 或 conda 进行安装。

方式一：使用 pip 安装（推荐）

pip install skll -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 conda 安装

如果您使用 Anaconda 或 Miniconda：

conda install -c ets skll

3. 基本使用

SKLL 的核心功能是通过 run_experiment 命令读取配置文件来执行实验。以下是一个最简单的分类实验示例。

第一步：准备数据

假设您有两个目录 train 和 dev，里面存放着 CSV 格式的特征文件。CSV 文件中需包含特征列、标签列（如 Survived）和 ID 列（如 PassengerId）。

第二步：创建配置文件

创建一个名为 titanic_config.ini 的文件，内容如下：

[General]
experiment_name = Titanic_Evaluate_Tuned
task = evaluate

[Input]
train_directory = train
test_directory = dev
featuresets = [["family.csv", "misc.csv", "socioeconomic.csv", "vitals.csv"]]
learners = ["RandomForestClassifier", "DecisionTreeClassifier", "SVC", "MultinomialNB"]
label_col = Survived
id_col = PassengerId

[Tuning]
grid_search = true
objectives = ['accuracy']

[Output]
metrics = ['roc_auc']
logs = output
results = output
predictions = output
probability = true
models = output

第三步：运行实验

在终端中执行以下命令启动实验：

run_experiment titanic_config.ini

执行完成后，结果、日志、预测值和训练好的模型将自动保存到配置的 output 目录中。

进阶用法

除了命令行工具，SKLL 也提供了简单的 Python API，支持直接操作 pandas DataFrame。主要类包括 Learner 和 Reader。如需深入了解 API 用法或更多配置选项，请参阅官方文档。