openbench

与提供商无关的开源语言模型评估基础设施

openbench 为 LLM 提供标准化、可复现的基准测试，覆盖 30 多个评估套件（且仍在增加），涵盖知识、数学、推理、编程、科学、阅读理解、健康、长上下文回忆、图推理等领域，并且原生支持您自己的本地评估，以保护隐私。适用于任何模型提供商——Groq、OpenAI、Anthropic、Cohere、Google、AWS Bedrock、Azure、通过 Ollama 使用的本地模型、Hugging Face 等 30 多家提供商。

要开始使用，请参阅下方教程或参考 文档。

特性

• 🎯 95+ 基准测试：MMLU、GPQA、HumanEval、SimpleQA、竞赛数学（AIME、HMMT）、SciCode、GraphWalks 等
• 🔧 简单的命令行界面：bench list、bench describe、bench eval（也可作为 openbench 使用），带有 -M/-T 标志用于指定模型和任务参数，--debug 模式用于重试评估，实验性基准测试可通过 --alpha 标志启用
• 🏗️ 构建于 inspect-ai 之上：行业标准的评估框架
• 📊 可扩展性：易于添加新的基准测试和指标
• 🤖 与提供商无关：开箱即用，支持 30 多家模型提供商
• 🛠️ 本地评估支持：可通过 bench eval <path> 运行私有化基准测试
• 📤 Hugging Face 集成：可将评估结果直接推送到 Hugging Face 数据集

🏃 速成：60 秒内评估一个模型

前提条件：安装 uv

# 创建虚拟环境并安装 openbench（30 秒）
uv venv
source .venv/bin/activate
uv pip install openbench

# 设置您的 API 密钥（任何提供商！）
export GROQ_API_KEY=your_key  # 或 OPENAI_API_KEY、ANTHROPIC_API_KEY 等

# 运行您的第一个评估（3 秒）
bench eval mmlu --model groq/openai/gpt-oss-120b --limit 10

# 就这样！🎉 您可以在 ./logs/ 中查看结果，或通过交互式 UI 查看：
bench view

https://github.com/user-attachments/assets/e99e4628-f1f5-48e4-9df2-ae28b86168c2

支持的提供商

openbench 通过 Inspect AI 支持 30 多家模型提供商。只需设置相应的 API 密钥环境变量，即可开始使用：

提供商	环境变量	示例模型字符串
AI21 Labs	AI21_API_KEY	ai21/model-name
Anthropic	ANTHROPIC_API_KEY	anthropic/model-name
AWS Bedrock	AWS 凭证	bedrock/model-name
Azure	AZURE_OPENAI_API_KEY	azure/<deployment-name>
Baseten	BASETEN_API_KEY	baseten/model-name
Cerebras	CEREBRAS_API_KEY	cerebras/model-name
Cohere	COHERE_API_KEY	cohere/model-name
Crusoe	CRUSOE_API_KEY	crusoe/model-name
DeepInfra	DEEPINFRA_API_KEY	deepinfra/model-name
Friendli	FRIENDLI_TOKEN	friendli/model-name
Google	GOOGLE_API_KEY	google/model-name
Groq	GROQ_API_KEY	groq/model-name
Helicone	HELICONE_API_KEY	helicone/model-name
Hugging Face	HF_TOKEN	huggingface/model-name
Hyperbolic	HYPERBOLIC_API_KEY	hyperbolic/model-name
Lambda	LAMBDA_API_KEY	lambda/model-name
MiniMax	MINIMAX_API_KEY	minimax/model-name
Mistral	MISTRAL_API_KEY	mistral/model-name
Moonshot	MOONSHOT_API_KEY	moonshot/model-name
Nebius	NEBIUS_API_KEY	nebius/model-name
Nous Research	NOUS_API_KEY	nous/model-name
Novita AI	NOVITA_API_KEY	novita/model-name
Ollama	无（本地）	ollama/model-name
OpenAI	OPENAI_API_KEY	openai/model-name
OpenRouter	OPENROUTER_API_KEY	openrouter/model-name
Parasail	PARASAIL_API_KEY	parasail/model-name
Perplexity	PERPLEXITY_API_KEY	perplexity/model-name
Reka	REKA_API_KEY	reka/model-name
SambaNova	SAMBANOVA_API_KEY	sambanova/model-name
SiliconFlow	SILICONFLOW_API_KEY	siliconflow/model-name
Together AI	TOGETHER_API_KEY	together/model-name
Vercel AI Gateway	AI_GATEWAY_API_KEY	vercel/creator-name/model-name
W&B Inference	WANDB_API_KEY	wandb/model-name
vLLM	无（本地）	vllm/model-name

可用的基准测试

请参阅 基准测试目录 或使用 bench list。

命令与选项

如需查看所有命令和选项的完整列表，请运行：bench --help 更多详细信息请参阅 文档。

命令	描述
bench list	列出可用的基准测试
bench eval <benchmark>	运行基准测试评估
bench eval-retry <log_files>	重试失败的评估
bench view	交互式 UI 用于查看基准测试日志
bench cache <info/ls/clear/upload>	管理 OpenBench 缓存

常用 eval 配置选项

选项	环境变量	默认值	描述
-M <args>	无	无	传递提供者/模型特定的参数（例如 -M only=groq）
-T <args>	无	无	将任务特定的参数传递给基准测试
--model	BENCH_MODEL	groq/openai/gpt-oss-20b	要评估的模型
--epochs	BENCH_EPOCHS	1	每次评估运行的轮数
--epochs-reducer	BENCH_EPOCHS_REDUCER	无	在聚合每轮得分时应用的规约函数
--max-connections	BENCH_MAX_CONNECTIONS	10	对模型的最大并行请求数
--temperature	BENCH_TEMPERATURE	0.6	模型温度
--top-p	BENCH_TOP_P	1.0	模型 top-p
--max-tokens	BENCH_MAX_TOKENS	无	模型响应的最大 token 数量
--seed	BENCH_SEED	无	用于确定性生成的随机种子
--limit	BENCH_LIMIT	无	限制评估样本的数量或指定起止范围
--logfile	BENCH_OUTPUT	无	结果输出文件
--sandbox	BENCH_SANDBOX	无	运行评估的环境（本地/Docker）
--timeout	BENCH_TIMEOUT	10000	每个 API 请求的超时时间（秒）
--fail-on-error	无	1	允许的样本错误阈值（使用整数表示数量，或浮点数表示比例）
--display	BENCH_DISPLAY	无	显示类型（完整/对话/丰富/简单/无）
--reasoning-effort	BENCH_REASONING_EFFORT	无	推理努力程度（低/中/高）
--json	无	False	以 JSON 格式输出结果
--log-format	BENCH_LOG_FORMAT	eval	输出日志格式（eval/json）
--hub-repo	BENCH_HUB_REPO	无	将结果推送到 Hugging Face Hub 数据集
--keep-livemcp-root	BENCH_KEEP_LIVEMCP_ROOT	False	允许在 livemcpbench 评估完成后保留根数据
--code-agent	BENCH_CODE_AGENT	codex	为 Exercism 任务选择代码代理（codex/aider/opencode/claude_code/roo）
--hidden-tests	BENCH_HIDDEN_TESTS	False	使用隐藏测试运行 Exercism 代理

开发与构建自定义评估

有关完整指南，请参阅 贡献指南 和 扩展 openbench。此外，还可查看 Inspect AI 的优秀 文档。

快速评估：从路径运行

对于一次性或私有评估，可直接将 openbench 指向您的评估脚本：

bench eval /path/to/my_eval.py --model groq/llama-3.3-70b-versatile

插件系统：以包形式分发

openbench 支持通过 Python 入口点实现的插件系统。您可以将自己的基准测试打包并独立分发：

# pyproject.toml
[project.entry-points."openbench.benchmarks"]
my_benchmark = "my_pkg.metadata:get_benchmark_metadata"

在执行 pip install my-benchmark-package 后，您的基准测试将出现在 bench list 中，并可与所有 CLI 命令配合使用。这非常适合：

• 在团队间共享基准测试
• 独立管理评估版本
• 用自定义实现覆盖内置基准测试

常见问题解答

openbench 与 Inspect AI 有何不同？

openbench 提供：

• 20 多种主要基准测试的参考实现，具有统一的接口
• 用于常见模式的共享工具（数学评分、多语言支持等）
• 经过精心挑选的评分器，可在不同类型的评估中通用
• 针对运行标准化基准测试优化的 CLI 工具

可以将其视为建立在 Inspect 出色基础之上的一套基准测试库。

为什么不直接使用 Inspect AI、lm-evaluation-harness 或 lighteval？

不同的工具有不同的用途！openbench 专注于：

• 共享组件：跨基准测试的通用评分器、求解器和数据集，减少代码重复
• 清晰的实现：每个评估都注重可读性和可靠性
• 开发者体验：简洁的 CLI、一致的模式，易于扩展

我们构建 openbench 是因为我们需要易于理解、修改且值得信赖的评估代码。它是一套基于 Inspect AI 优秀基础的精选基准测试。

如何在 uv 环境之外运行 bench？

如果您希望 bench 在 uv 环境之外也可用，可以运行以下命令：

uv run pip install -e .

我在从 HuggingFace 下载数据集时遇到问题，该如何解决？

某些评估可能需要登录 HuggingFace 才能下载数据集。如果 bench 提示您进行登录，或抛出“受控”错误， 设置环境变量

HF_TOKEN="<HUGGINGFACE_TOKEN>"

应该可以解决问题。完整的 HuggingFace 文档可以在 HuggingFace 的身份验证文档 中找到。

更多提示和故障排除信息，请参阅 故障排除文档。

🚧 Alpha 版本

我们正在公开开发！这是一个 Alpha 版本，预计会快速迭代。首个稳定版本即将发布。

快捷链接：

• 报告 bug
• 请求功能

可复现性声明

作为 openbench 的作者，我们致力于尽可能忠实地实现该工具的评估，使其与原始基准测试本身保持一致。

然而，开发者可能会观察到 openbench 的得分与其他来源报告的得分之间存在数值差异。

这些数值差异可能由多种原因造成，包括但不限于模型提示的细微变化、不同的模型量化或推理方法，以及为使基准测试与开发 openbench 所使用的软件包兼容而进行的调整。

因此，openbench 的结果应仅与 openbench 的其他结果进行比较，而不应被视为可与所有外部结果一一对应的通用标准。为了进行有意义的比较，请确保使用相同版本的 openbench。

我们鼓励开发者识别改进空间，并欢迎对 openbench 进行开源贡献。

致谢

本项目离不开以下支持：

• Inspect AI - 提供 openbench 核心功能的卓越评估框架
• EleutherAI 的 lm-evaluation-harness - 在标准化大语言模型评估领域开创性的工作
• Hugging Face 的 lighteval - 优秀的评估基础设施

引用

@software{openbench,
  title = {openbench：面向语言模型的提供商无关、开源评估基础设施},
  author = {Sah, Aarush},
  year = {2025},
  url = {https://openbench.dev}
}

许可证

MIT

---

由 Aarush Sah 和 Groq 团队用心打造

OpenBench 快速上手指南

OpenBench 是一个与提供商无关的开源大语言模型（LLM）评估基础设施。它基于 inspect-ai 构建，支持 30+ 主流模型提供商（如 Groq, OpenAI, Anthropic, 本地 Ollama/vLLM 等），提供标准化、可复现的基准测试能力，涵盖知识、数学、推理、编程等多个领域。

环境准备

• 操作系统：Linux, macOS, Windows (WSL 推荐)
• Python 版本：3.10 或更高
• 前置依赖：推荐使用 uv 进行极速环境管理（也可使用 pip）。
  • 安装 uv (官方脚本):

    curl -LsSf https://astral.sh/uv/install.sh | sh
    

  • 国内加速提示：如果下载缓慢，可尝试配置国内镜像源或在后续 pip 安装步骤中指定 -i 参数。

安装步骤

使用 uv 创建虚拟环境并安装 OpenBench（全程约 30 秒）：

# 1. 创建虚拟环境
uv venv

# 2. 激活环境
# Linux/macOS:
source .venv/bin/activate
# Windows (PowerShell):
.venv\Scripts\Activate.ps1

# 3. 安装 openbench
uv pip install openbench

注：若使用 pip 安装且需国内加速，可使用： pip install openbench -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 配置 API Key

设置你所使用的模型提供商的 API Key 环境变量。OpenBench 支持几乎所有主流提供商。

# 示例：配置 Groq (或其他如 OPENAI_API_KEY, ANTHROPIC_API_KEY 等)
export GROQ_API_KEY=your_api_key_here

2. 运行首次评估

使用 bench eval 命令运行基准测试。以下示例在 MMLU 数据集上限制只跑 10 个样本进行快速测试：

bench eval mmlu --model groq/llama-3.3-70b-versatile --limit 10

• mmlu: 基准测试名称（可用 bench list 查看所有支持的测试集）。
• --model: 模型标识符，格式为 提供商/模型名。
• --limit: 限制评估样本数量，适合快速验证。

3. 查看结果

评估完成后，可以通过交互式 UI 查看详细日志和结果：

bench view

结果文件默认保存在当前目录的 ./logs/ 文件夹中。

---

常用命令速查

命令	说明
bench list	列出所有可用的基准测试套件
bench eval <name>	运行指定的基准测试
bench view	启动交互式界面查看评估日志
bench --help	查看完整命令选项帮助

进阶提示

• 本地模型：支持直接评估本地运行的模型，例如：--model ollama/llama3 或 --model vllm/meta-llama/Llama-3-8b.
• 自定义评估：支持运行本地编写的评估脚本：bench eval /path/to/my_eval.py --model ...
• 重试失败任务：bench eval-retry <log_files>