LiveBench

🏆 排行榜 • 💻 数据 • 📝 论文

LiveBench 作为 Spotlight Paper 出现在 ICLR 2025 上。

截至 2024 年 9 月 30 日的顶级模型（完整且最新的排行榜请见 这里）：

有关每次 LiveBench 发布的详细信息，请参阅 changelog。

目录

• 简介
• 安装快速入门
• 使用方法
• 数据
• 添加新问题
• 评估新模型及配置 API 参数
• 文档
• 引用

简介

隆重推出 LiveBench：一个专为 LLM 设计的基准测试，旨在解决测试集污染问题，并实现客观评估。

LiveBench 具有以下特点：

• LiveBench 每月发布新问题，以减少潜在的测试集污染；同时，问题基于近期发布的数据集、arXiv 论文、新闻文章以及 IMDb 电影梗概。
• 每道题都配有可验证的客观标准答案，因此即使难度较高的题目也能被准确、自动地评分，无需借助 LLM 作为评判者。
• LiveBench 目前包含 6 个类别下的 18 项多样化任务，未来我们将陆续推出更多难度更高的任务。

我们愿意为您评估模型！ 请在 GitHub 上提交一个问题，或发送邮件至 livebench@livebench.ai！

安装快速入门

建议使用虚拟环境来安装 LiveBench。

python -m venv .venv
source .venv/bin/activate

若要通过 API 模型生成答案（即使用 gen_api_answer.py）、进行判断并展示结果：

cd LiveBench
pip install -e .

若需对编码任务（代码补全和代码生成）的结果进行评分，还需安装必要的依赖项：

cd livebench/code_runner
pip install -r requirements_eval.txt

请注意，要评估代理式编码问题，您需要安装并可用 Docker（即运行 docker --version 命令应能成功）。在执行此类任务之前，系统会检查是否已安装 Docker。

关于本地模型的说明：本地模型推理功能已不再维护。我们强烈建议您使用 vllm 将您的模型部署为兼容 OpenAI 的 API，并通过 run_livebench.py 进行推理。

我们的仓库包含了来自 LiveCodeBench 和 IFEval 的代码。

使用方法

cd livebench

运行评估

运行 LiveBench 推理与评分最简单的方式是使用 run_livebench.py 脚本，该脚本会处理整个评估流程，包括生成答案、评分并展示结果。

基本用法：

python run_livebench.py --model gpt-4o --bench-name live_bench/coding --livebench-release-option 2024-11-25

一些常用选项：

• --bench-name：指定要使用的子集问题（例如 live_bench 表示所有问题，live_bench/coding 表示仅编码任务）
• --model：要评估的模型
• --max-tokens：模型响应的最大 token 数量（默认为 4096，除非针对特定模型覆盖）
• --api-base：用于兼容 OpenAI 服务器的自定义 API 端点
• --api-key-name：包含 API 密钥的环境变量名称（默认为 OpenAI 模型的 OPENAI_API_KEY）
• --api-key：API 密钥的原始值
• --parallel-requests：并发 API 请求数量（适用于具有高速率限制的模型）
• --resume：从上次中断的地方继续运行
• --retry-failures：重试之前运行失败的问题
• --livebench-release-option：评估特定 LiveBench 版本中的问题

运行 python run_livebench.py --help 可查看所有可用选项。

完成上述操作后，请按照 查看结果 部分查看评估结果。

注意：当前 LiveBench 的最新版本是 2025-04-25；然而，该版本的所有问题尚未在 Huggingface 上公开。为了评估所有类别，您需要在所有脚本中添加 --livebench-release-option 2024-11-25 参数，以使用最近公开的问题。

注意：代理式编码任务的评估需要构建特定于任务的 Docker 镜像。存储所有这些镜像可能占用高达 150GB 的空间。这些镜像既用于推理也用于评估。未来我们将致力于优化此任务的评估流程，以尽量减少存储需求。

并行评估选项

LiveBench 提供了两个不同的参数来并行化评估，这两个参数可以单独使用，也可以结合使用：

• --mode parallel：通过创建多个 tmux 会话，并行运行不同的任务或类别。每个类别或任务都在独立的终端会话中运行，从而实现跨不同基准子集的同时评估。此选项也会并行化真值评估阶段。默认情况下，它会为每个类别创建一个会话；如果提供了 --bench-name 参数，则会为 --bench-name 的每个值创建一个会话。

• --parallel-requests：设置在一个任务评估实例中同时回答的问题数量。这控制着针对特定任务同时发出的 API 请求数量。

何时使用哪个选项：

• 对于高速率限制（例如吞吐量高的商业 API）：

  • 在评估整个基准时，建议同时使用这两个选项以获得最大吞吐量。
  • 例如：python run_livebench.py --model gpt-4o --bench-name live_bench --mode parallel --parallel-requests 10

• 对于较低的速率限制：

  • 在运行整个 LiveBench 套件时，建议使用 --mode parallel 来实现跨类别的并行化，即使 --parallel-requests 必须保持较低。
  • 对于小型任务子集，--parallel-requests 可能更高效，因为创建多个 tmux 会话所带来的额外开销较小。
  • 低速率限制下运行完整基准的示例：python run_livebench.py --model claude-3-5-sonnet --bench-name live_bench --mode parallel --parallel-requests 2

• 对于单个任务的评估：

  • 当只运行一两个任务时，只需使用 --parallel-requests：python run_livebench.py --model gpt-4o --bench-name live_bench/coding --parallel-requests 10

请注意，--mode parallel 需要您的系统上已安装 tmux。创建的 tmux 会话数量将取决于正在评估的类别或任务数量。

查看结果

您可以使用 show_livebench_result.py 脚本查看评估结果：

python show_livebench_result.py --bench-name <bench-name> --model-list <model-list> --question-source <question-source> --livebench-release-option 2024-11-25

<model-list> 是一个以空格分隔的模型 ID 列表，用于指定要显示的模型。例如，要查看 gpt-4o 和 claude-3-5-sonnet 在编码任务上的结果，请运行：

python show_livebench_result.py --bench-name live_bench/coding --model-list gpt-4o claude-3-5-sonnet

您还可以提供多个 --bench-name 参数，以查看特定基准子集上的得分：

python show_livebench_result.py --bench-name live_bench/coding live_bench/math --model-list gpt-4o

如果未提供 --model-list 参数，则会显示所有模型的结果。--question-source 参数默认为 huggingface，但应与评估时使用的来源一致，同样地，--livebench-release-option 也应匹配。

排行榜将显示在终端中。您还可以在 all_groups.csv 文件中找到按类别划分的详细结果，在 all_tasks.csv 文件中找到按任务划分的详细结果。

错误检查

scripts/error_check.py 脚本会打印出模型输出为 $ERROR$ 的问题，这表示 API 调用多次失败。您可以使用 scripts/rerun_failed_questions.py 脚本重新运行这些失败的问题，或者正常运行 run_livebench.py 并添加 --resume 和 --retry-failures 参数。

默认情况下，LiveBench 会重试 API 调用三次，并在每次尝试之间加入延迟以应对速率限制。如果评估过程中出现的错误是由于速率限制导致的，您可能需要切换到 --mode single 或 --mode sequential 模式，并减少 --parallel-requests 的值。如果经过多次尝试后，模型的输出仍然是 $ERROR$，则很可能是该问题触发了模型提供商的内容过滤机制（Gemini 模型尤其容易出现这种情况，错误信息为 RECITATION）。在这种情况下，通常无法进一步处理。我们视此类失败为不正确的回答。

数据

各个类别的问题可以在以下链接中找到：

• 推理
• 数学
• 编码
• 语言
• 数据分析
• 指令遵循

此外，还提供了 模型答案 和 模型判断。

要下载排行榜中的 question.jsonl 文件（用于检查）以及答案和判断文件，可以使用以下命令：

python download_questions.py
python download_leaderboard.py

问题将被下载到 livebench/data/<category>/question.jsonl 目录下。

评估新问题

如果您想创建自己的问题集，或尝试不同的提示等，可以按照以下步骤操作：

• 创建一个 question.jsonl 文件，路径如下（或者运行 python download_questions.py 并更新下载的文件）：livebench/data/live_bench/<category>/<task>/question.jsonl。例如，livebench/data/reasoning/web_of_lies_new_prompt/question.jsonl。以下是 question.jsonl 文件的格式示例（来自 web_of_lies_v2 的前几道题）：

{"question_id": "0daa7ca38beec4441b9d5c04d0b98912322926f0a3ac28a5097889d4ed83506f", "category": "reasoning", "ground_truth": "no, yes, yes", "turns": ["在这个问题中，假设每个人要么总是说真话，要么总是说谎话。塔拉在电影院。餐厅里的人说水族馆里的人在说谎。阿扬在水族馆。瑞安在植物园。公园里的人说艺术画廊里的人在说谎。博物馆里的人说的是真话。扎拉在博物馆。杰克在艺术画廊。艺术画廊里的人说剧院里的人在说谎。贝亚特丽斯在公园。电影院里的人说火车站的人在说谎。纳迪娅在露营地。露营地里的人说艺术画廊的人说的是真话。剧院里的人在说谎。游乐场里的人说水族馆的人说的是真话。格蕾丝在餐厅。水族馆里的人认为他的朋友在说谎。尼亚在剧院。凯欣德在火车站。剧院里的人认为他的朋友在说谎。植物园里的人说火车站的人说的是真话。水族馆里的人说露营地的人说的是真话。水族馆里的人看到了一辆消防车。火车站里的人说游乐场的人在说谎。马特奥在游乐场。那么，火车站的人说的是真话吗？游乐场的人说的是真话吗？水族馆的人说的是真话吗？请一步一步思考，然后用粗体字将你的答案写成一个由三个词组成的列表，分别是“是”或“否”（例如：“是，否，是”）。如果你不知道答案，就猜一猜。"], "task": "web_of_lies_v2"}

• 如果要添加新任务，需在 process_results 文件夹中创建新的评分方法。如果新任务与现有任务类似，可以直接复制现有任务的评分函数。例如，livebench/process_results/reasoning/web_of_lies_new_prompt/utils.py 可以直接复制 web_of_lies_v2 的评分方法。

• 将评分函数添加到 gen_ground_truth_judgment.py 中的相应位置：此处。

• 使用 --question-source jsonl 并指定您的任务来运行并评估模型。例如：

python gen_api_answer.py --bench-name live_bench/reasoning/web_of_lies_new_prompt --model claude-3-5-sonnet --question-source jsonl
python gen_ground_truth_judgment.py --bench-name live_bench/reasoning/web_of_lies_new_prompt --question-source jsonl
python show_livebench_result.py --bench-name live_bench/reasoning/web_of_lies_new_prompt

评估新模型及配置 API 参数dee

任何具备 OpenAI 兼容端点的基于 API 的模型，只需使用 --api-base 和 --api-key（或 --api-key-name）参数即可开箱即用。若希望为本地文件覆盖模型名称（例如将保存名为 deepseek-v3 而非 deepseek-chat），可使用 --model-display-name 参数。此外，您还可以分别通过 --force-temperature 和 --max-tokens 参数来覆盖温度和最大标记数的值。

若希望实现持久化的模型配置而无需每次指定命令行参数，可在 livebench/model/model_configs 目录下创建一个 YAML 格式的模型配置文件。请参考该目录下的其他文件以了解所需格式。其中重要的字段包括 model_display_name，它决定了答案 .jsonl 文件名以及供其他脚本使用的模型 ID；还有 api_name，用于建立 API 提供商与该 API 中模型名称之间的映射关系。例如，Deepseek R1 可以通过 Deepseek API 以 deepseek-reasoner 作为名称进行评估，也可以通过 Together API 以 deepseek-ai/deepseek-r1 作为名称进行评估。api_kwargs 允许您为所有提供商或特定提供商设置温度、最大标记数和 top p 等参数的覆盖值。完成上述配置后，在运行 run_livebench.py 时，即可使用 --model <model_name>，其中 <model_name> 应与 YAML 文件中填写的 model_display_name 值一致。

在执行推理时，可使用 --model-provider-override 参数来覆盖您希望为该模型使用的提供商。

我们还实现了对 Anthropic、Cohere、Mistral、Together 和 Google 模型的推理支持，因此这些模型同样可以通过使用 --model-provider-override 或向相应配置文件添加新条目而立即投入使用。

若要使用与 OpenAI 不兼容的新提供商的模型，则需要在 completions.py 中实现一个新的补全函数，并将其添加到该文件中的 get_api_function 函数中；随后，您便可在模型配置中使用该函数。

文档

在此，我们介绍我们的数据集文档。相关信息亦可在我们的论文中找到。

• 作者责任
• 行为准则
• 贡献指南
• LiveBench 数据集说明
• 维护计划

引用

@inproceedings{livebench,
  title={LiveBench: 一个具有挑战性且无污染的 {LLM} 基准测试},
  author={Colin White, Samuel Dooley, Manley Roberts, Arka Pal, Benjamin Feuer, Siddhartha Jain, Ravid Shwartz-Ziv, Neel Jain, Khalid Saifullah, Sreemanti Dey, Shubh-Agrawal, Sandeep Singh Sandha, Siddartha Venkat Naidu, Chinmay Hegde, Yann LeCun, Tom Goldstein, Willie Neiswanger, Micah Goldblum},
  booktitle={第十三届国际学习表征会议},
  year={2025},
}

LiveBench 快速上手指南

LiveBench 是一个专为大语言模型（LLM）设计的基准测试工具，旨在通过每月发布新问题来减少测试集污染，并提供可验证的客观真实答案，无需依赖 LLM 裁判即可自动评分。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 版本 3.8 或更高
• Docker: 如果您计划评估代理编码任务 (Agentic Coding)，必须安装 Docker 并确保 docker --version 命令可用。此类任务需要构建特定的 Docker 镜像（可能占用高达 150GB 空间）。
• tmux: 如果使用并行评估模式 (--mode parallel)，需安装 tmux。

注意：本地模型推理支持已不再维护。强烈建议使用 vllm 将模型部署为 OpenAI 兼容的 API 服务，然后通过 run_livebench.py 进行评测。

安装步骤

推荐使用虚拟环境进行安装，以避免依赖冲突。

1. 创建并激活虚拟环境：

   python -m venv .venv
   source .venv/bin/activate
   

2. 安装 LiveBench 核心包： 进入项目目录并安装可编辑版本：

   cd LiveBench
   pip install -e .
   

   (国内用户如遇下载慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华源)

3. 安装代码任务依赖（可选）： 如果您需要评分代码完成 (code_completion) 和代码生成 (code_generation) 任务，需额外安装相关依赖：

   cd livebench/code_runner
   pip install -r requirements_eval.txt
   

基本使用

LiveBench 提供了统一的脚本 run_livebench.py 来处理从生成答案、评分到展示结果的完整流程。

运行评估

以下是最简单的运行示例，用于评估 gpt-4o 模型在编码任务上的表现：

cd livebench
python run_livebench.py --model gpt-4o --bench-name live_bench/coding --livebench-release-option 2024-11-25

关键参数说明：

• --model: 要评估的模型名称（如 gpt-4o, claude-3-5-sonnet）。
• --bench-name: 指定测试子集。例如 live_bench (全部), live_bench/coding (仅编码), live_bench/math (仅数学)。
• --livebench-release-option: 重要。当前最新公开的问题版本为 2024-11-25。若不指定此参数，可能无法获取所有类别的最新公开题目。
• --api-key: 如果您的 API Key 未设置在环境变量中，可直接在此处传入。默认读取 OPENAI_API_KEY。

查看结果

评估完成后，使用以下命令查看终端排行榜：

python show_livebench_result.py --bench-name live_bench/coding --model-list gpt-4o --livebench-release-option 2024-11-25

• 结果详情也可在生成的 all_groups.csv (按类别) 和 all_tasks.csv (按任务) 文件中查看。

进阶提示：并行加速

为了加快评估速度，您可以根据 API 速率限制调整并行策略：

• 高吞吐量场景（如商业 API）：同时开启任务并行和请求并行。

  python run_livebench.py --model gpt-4o --bench-name live_bench --mode parallel --parallel-requests 10 --livebench-release-option 2024-11-25
  

• 低速率限制场景：仅开启任务并行，降低并发请求数。

  python run_livebench.py --model claude-3-5-sonnet --bench-name live_bench --mode parallel --parallel-requests 2 --livebench-release-option 2024-11-25