注意：该工具箱的当前版本为测试版，用于测试与 Haskell、Python 和 R 代码仓库的集成。

Metrics 提供了多种监督学习评估指标的实现，支持以下语言：

• Python easy_install ml_metrics
• R 在 R 提示符下运行 install.packages("Metrics")
• Haskell cabal install Metrics
• MATLAB / Octave （克隆仓库并在 MATLAB 命令行中运行 setup）

更多详细的安装说明，请参阅各实现的 README 文件。

评估指标

评估指标	Python	R	Haskell	MATLAB / Octave
绝对误差 (AE)	✓	✓	✓	✓
K 位平均精度 (APK, AP@K)	✓	✓	✓	✓
ROC 曲线下面积 (AUC)	✓	✓	✓	✓
分类误差 (CE)	✓	✓	✓	✓
F1 分数 (F1)		✓
基尼系数				✓
莱文斯坦距离	✓		✓	✓
对数损失 (LL)	✓	✓	✓	✓
平均对数损失 (LogLoss)	✓	✓	✓	✓
平均绝对误差 (MAE)	✓	✓	✓	✓
K 位平均精度均值 (MAPK, MAP@K)	✓	✓	✓	✓
加权平均四分位 Kappa 系数	✓	✓		✓
均方误差 (MSE)	✓	✓	✓	✓
均方对数误差 (MSLE)	✓	✓	✓	✓
归一化基尼系数				✓
加权四分位 Kappa 系数	✓	✓		✓
相对绝对误差 (RAE)		✓
均方根误差 (RMSE)	✓	✓	✓	✓
相对平方误差 (RSE)		✓
相对均方根误差 (RRSE)		✓
均方根对数误差 (RMSLE)	✓	✓	✓	&✓
平方误差 (SE)	✓	✓	&✓	&✓
对数平方误差 (SLE)	&✓	&✓	&✓	&✓

待实现的功能

• F1 分数
• 多分类对数损失
• Lift 指标
• 二分类的平均精度
• 精确率/召回率的平衡点
• 交叉熵
• 真阳性率/假阳性率/真阴性率/假阴性率
• 精确率/召回率/灵敏度/特异性
• 互信息

更高层次的处理转换

• GroupBy / Reduce
• 对单个样本或组进行加权

指标可能具有的属性

（不完全列表，未来会继续补充）

• 最小值或最大值（通过最小化或最大化来优化）
• 二分类
  • 评分预测的类别标签
  • 评分预测的排序（从最有可能到最不可能属于某一类）
  • 评分预测的概率
• 多分类
  • 评分预测的类别标签
  • 评分预测的概率
• 回归
• 离散评分者比较（混淆矩阵）

Metrics 快速上手指南

Metrics 是一个提供多种监督机器学习评估指标实现的开源工具箱，支持 Python、R、Haskell 和 MATLAB/Octave。

注意：当前版本为 Beta 测试版，主要用于测试 Haskell、Python 和 R 代码库的兼容性。

环境准备

• 操作系统：Linux、macOS 或 Windows（需配置相应语言环境）
• 前置依赖：根据你选择的编程语言，确保已安装以下环境之一：
  • Python: Python 2.7+ 或 3.x，包含 pip 或 easy_install
  • R: R 语言环境及 R 命令行工具
  • Haskell: GHC 编译器及 cabal 包管理工具
  • MATLAB / Octave: MATLAB 或 GNU Octave 环境

安装步骤

根据你的开发语言选择对应的安装命令：

Python

easy_install ml_metrics

注：若使用 pip，可尝试 pip install ml_metrics（视具体源而定）。

R

在 R 命令行提示符下运行：

install.packages("Metrics")

Haskell

cabal install Metrics

MATLAB / Octave

1. 克隆仓库到本地：

   git clone https://github.com/benhamner/Metrics.git
   

2. 进入 MATLAB 或 Octave 命令行，切换到项目目录并运行设置脚本：

   cd Metrics/MATLAB
   setup
   

基本使用

安装完成后，即可调用相应的评估指标函数。以下是各语言的最简使用示例：

Python 示例

计算均方误差 (MSE)：

from ml_metrics import mse

actual = [1, 2, 3]
predicted = [1.1, 1.9, 3.2]

error = mse(actual, predicted)
print(error)

R 示例

计算均方误差 (MSE)：

library(Metrics)

actual <- c(1, 2, 3)
predicted <- c(1.1, 1.9, 3.2)

error <- mse(actual, predicted)
print(error)

Haskell 示例

（需导入相应模块后调用）

import Metrics.Regression (mse)

let actual = [1, 2, 3]
let predicted = [1.1, 1.9, 3.2]

let error = mse actual predicted
print error

MATLAB / Octave 示例

计算均方误差 (MSE)：

actual = [1; 2; 3];
predicted = [1.1; 1.9; 3.2];

error = mse(actual, predicted);
disp(error);

该工具箱支持包括 AUC、Log Loss、MAE、RMSE、F1 Score（部分语言）等在内的多种常用指标，具体支持情况请参考官方文档表格。