提示: 对于更先进的评估方法，例如针对大型语言模型的评估，我们推荐使用更新且维护更为活跃的库 LightEval。

🤗 Evaluate 是一个使模型评估与比较以及性能报告更加简便和标准化的库。

目前它包含以下内容：

• 数十种流行指标的实现：这些指标涵盖了从自然语言处理到计算机视觉等多种任务，并为特定数据集提供了专用指标。只需简单地执行 accuracy = load("accuracy")，即可获得任意一种指标，直接用于在任何框架（Numpy/Pandas/PyTorch/TensorFlow/JAX）中评估机器学习模型。
• 比较与度量工具：比较用于衡量不同模型之间的差异，而度量工具则用于评估数据集。
• 一种简便的方式将新的评估模块添加到 🤗 Hub：您可以通过 evaluate-cli create [metric name] 创建新的评估模块并将其推送到 🤗 Hub 中的专用 Space，从而轻松比较同一组参考数据和预测结果下不同指标及其输出。

🎓 文档

🔎 在 Hub 上查找 指标、比较 或 度量

🌟 添加一个新的评估模块

🤗 Evaluate 还具备许多实用功能，例如：

• 类型检查：会检查输入类型，以确保您为每种指标使用了正确的输入格式。
• 指标卡片：每个指标都附带一张卡片，详细说明其取值范围、局限性等信息，并提供使用示例及适用场景。
• 社区指标：指标托管在 Hugging Face Hub 上，您可以轻松添加自己的指标，用于项目或与其他开发者协作。

安装

使用 pip

🤗 Evaluate 可以从 PyPI 安装，且必须在虚拟环境（如 venv 或 conda）中进行安装。

pip install evaluate

使用

🤗 Evaluate 的主要方法包括：

• evaluate.list_evaluation_modules() 用于列出可用的指标、比较和度量工具。
• evaluate.load(module_name, **kwargs) 用于实例化一个评估模块。
• results = module.compute(*kwargs) 用于计算评估模块的结果。

添加一个新的评估模块

首先，使用以下命令安装创建新指标所需的依赖项：

pip install evaluate[template]

然后，您可以使用以下命令开始操作，该命令将为您的指标创建一个新文件夹，并显示必要的步骤：

evaluate-cli create "Awesome Metric"

有关详细说明，请参阅文档中的分步指南。

致谢

感谢 @marella，允许我们在 PyPI 上使用 evaluate 命名空间，该命名空间此前曾被他的库所使用。

🤗 Evaluate 快速上手指南

🤗 Evaluate 是一个用于简化和标准化机器学习模型评估的库。它提供了数十种常用指标（涵盖 NLP、计算机视觉等任务）的实现，支持在 NumPy、PyTorch、TensorFlow 等任何框架中使用。

提示：如果您需要评估大语言模型（LLM）或寻找更前沿的评估方法，推荐使用 Hugging Face 最新维护的库 LightEval。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：建议 Python 3.8+
• 前置依赖：无特殊系统级依赖，但建议在虚拟环境中安装以避免包冲突。
• 推荐环境：使用 venv 或 conda 创建独立的虚拟环境。

安装步骤

1. 创建并激活虚拟环境（可选但推荐）

python -m venv eval_env
source eval_env/bin/activate  # Linux/macOS
# 或
eval_env\Scripts\activate     # Windows

2. 安装 Evaluate

通过 PyPI 安装基础版本：

pip install evaluate

国内加速建议：如果遇到下载速度慢的问题，可以使用清华或阿里镜像源：

pip install evaluate -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装开发模板（仅当需要创建新指标时）

如果您打算贡献或创建自定义评估模块，需安装模板依赖：

pip install "evaluate[template]"

基本使用

Evaluate 的核心工作流程分为三步：列出可用模块 -> 加载模块 -> 计算结果。

1. 查看可用指标

列出 Hub 上所有可用的指标、对比工具和测量工具：

import evaluate

# 查看所有可用的评估模块
modules = evaluate.list_evaluation_modules()
print(modules)

2. 加载并计算指标

以最常用的 accuracy（准确率）为例：

import evaluate

# 加载指标
accuracy = evaluate.load("accuracy")

# 准备预测值和真实标签
predictions = [0, 1, 1, 0]
references = [0, 1, 0, 0]

# 计算结果
results = accuracy.compute(predictions=predictions, references=references)

print(results)
# 输出: {'accuracy': 0.75}

该库会自动进行类型检查，确保输入格式符合指标要求，并支持直接传入列表、NumPy 数组或 Pandas Series。

3. 创建自定义指标（进阶）

若需添加新的评估模块到 Hugging Face Hub：

# 初始化新项目文件夹
evaluate-cli create "Awesome Metric"

执行后将生成标准目录结构，具体开发步骤请参考官方文档中的 创建与分享指南。