又一个应用型大语言模型基准测试

这是我为自己制作的一个基准测试，用于评估语言模型在我关心的任务上的表现。我之所以关注这些任务，是因为每一个测试都直接源自于过去一年中我曾要求大语言模型为我完成的事情。

例如，这个基准测试中包含一些测试用例，用来评估模型是否能够：

• 将 Python 函数转换为等效但更快的 C 函数；
• 将 Python 字节码反编译为函数式源代码；
• 解释经过压缩的 JavaScript 代码的功能；
• 识别某些数据的编码格式（比如 uuencode）；
• 根据类似 BNF 的语法编写解析器；
• 将一些英文句子转换为 SQL 查询；或者
• 编写一些 Bash 单行脚本。

这个基准测试有两个显著的特点，使其颇具吸引力：

1. 我实现了一种简单的数据流领域特定语言，使得我可以（或任何人！）轻松添加新的测试用例，以更真实地评估模型的能力。

2. 正是由于这一点，我为实际工作中作为助手使用大语言模型时遇到的不同场景编写了近 100 个测试用例。

例如，下面是一个完整的测试用例，用于评估模型能否写出“Hello, World”程序：

'用 Python 写一个 "Hello, World" 程序' >> LLMRun() >> PythonRun() >> SubstringEvaluator("hello world")

首先，我让模型写出“Hello, World”程序，然后在后台无缝地在一个 Docker 容器中运行该程序，并检查标准输出中是否包含“hello world”。（这里的 >> 操作符可以理解为“然后执行”，即“a >> b”表示先执行 a，再执行 b。）

更具趣味性的是，下面这个测试用例首先要求模型生成一段绘制美国国旗的代码。为了评估其结果，我会先运行这段代码，再用另一个语言模型对其进行初步判断，最后通过与参考答案进行比较来全面评估输出结果。

"用 C 语言编写一个将美国国旗输出到 stdout 的程序。" >> LLMRun() >> CRun() >> \
    LLMRun("这张图片上显示的是什么国旗？") >> \
        (SubstringEvaluator("United States") | SubstringEvaluator("USA") | SubstringEvaluator("America"))

这种领域特定语言使我能够评估比目前我所知的任何其他评估基准都要更加多样化和复杂的行为。这对于判断模型是否能够完成我真正关心的任务非常有帮助。

测试结果

我已经在这个基准测试上评估了几款模型。它们的表现如下：

• o1-mini：62% 通过率
• Claude 3.5 Sonnet：56% 通过率
• GPT-4o：48% 通过率
• Gemini 1.5 Pro：43% 通过率
• Claude 3 Opus：42% 通过率
• GPT-4o Mini：36% 通过率
• Mistral Large：28% 通过率
• GPT-3.5：26% 通过率

完整的评估表格可以在 这里 查看。

这不是什么

这并不是一个严肃的学术基准测试。

换句话说，它并非旨在严格评估模型在任何特定任务上的能力。它也不是用来决定哪款模型更有能力、更博学、更准确、更少偏见、更安全、更对齐或更有帮助的工具。

这些问题并没有经过最优的提示工程设计。完全有可能——事实上也很可能——如果对其中一些问题进行更好的措辞，模型就能给出更好的答案。

但我就是懒。

我不想提醒模型：“你可是 Python 方面的专家！”也不想告诉它：“如果你答对了，我就给你 10 万美元的小费；但如果答错了，我就杀了只小猫。”当然，我也不会真的这么做……我只是希望它能深呼吸，一步一步地思考后再作答。（或者现在大家常用的那些能让模型发挥最佳水平的咒语。）

我只想简单地输入一个问题，然后得到正确的答案。因此，这个基准测试正是针对这类问题设计的，而且这些问题都是我曾经真正关心并希望得到解答的类型。

未能通过某个问题并不意味着什么

由于我在提示工程方面的不足（通常是故意的），当模型未能通过某个问题时，我们并不能从中获得太多有用的信息。也许只是我的问题表述得不够清晰，或者存在某种歧义。

相反，这些测试的设计目的是让我在模型通过时有所收获。毕竟，你不可能靠运气就正确编译 Rust 程序，这需要一定的编程技能。然而，你却可能因为把函数名取成了我不期望的名字，导致你的正确代码根本无法被调用而失败。

这是什么

再次强调，这不过是我曾经要求语言模型帮我解决的各种编程任务的问题集合，其中也穿插了一些纯粹出于娱乐目的提出的问题。这些问题大多未经修改，直接按照我当时输入的内容呈现。这意味着它们可能并不是最清晰的表述方式（例如，“在 Python 中，我应该用什么 东西 来表示 ~，就像 add 代表 + 一样？”而我期待的答案是 __inv__）。此外，还有一些问题因为需要最新的知识而显得有些“不公平”（比如，“Llama-2 70B 的隐藏维度是多少？”）。但对我来说，重要的是模型能否正确回答这些问题。

安装说明

要让这个基准测试运行起来其实相当简单。

Python 依赖

在 Python 端，你只需运行 pip install -r requirements.txt 来安装所需的依赖包。

如果你想运行并评估多种不同的模型，还需要额外安装其他模型的依赖包，可以通过运行 pip install -r requirements-extra.txt 来完成。

Podman（推荐）

我希望在容器中运行所有内容，以确保基本的安全性。Docker 虽然界面更好，安全性控制也略胜一筹（所以如果你愿意也可以使用 Docker），但在 Linux 系统上，启动新的 Docker 任务通常需要 root 权限，或者至少赋予当前用户接近 root 的权限。这让我有些担心。

因此，我更倾向于使用 Podman。请根据你的系统情况，按照官方文档安装即可。

Docker（可选）

同样，Docker 的安装方法因系统而异，你需要查阅相关文档来了解如何在你的系统上安装它。

为什么需要 Docker/Podman？

本基准测试中的测试用例是通过直接执行语言模型生成的代码来评估的。 某些测试会要求模型重命名文件、移动文件，或对您的机器进行其他改变状态的操作。

虽然我不认为这些模型对我们怀有恶意，会出于故意或报复而输出 rm -rf / 命令，但它们确实有可能生成有缺陷的代码，从而意外地破坏您的计算机。因此，为了防止这种情况发生，所有 LLM 的输出都会在一个临时的 Docker 容器中进行评估，测试完成后该容器会立即被删除。

（还有一个原因：部分测试假设系统是一个装有特定依赖项的全新 Ubuntu 系统。在您的本地机器上，这些测试的行为可能与在 Docker 虚拟机中运行时有所不同。）

如果您喜欢冒险（强烈不推荐），可以在代码中设置一个标志：

I_HAVE_BLIND_FAITH_IN_LLMS_AND_AM_OKAY_WITH_THEM_BRICKING_MY_MACHINE_OR_MAKING_THEM_HALT_AND_CATCH_FIRE

将其设置为 True 后，LLM 生成的所有内容将直接在您的机器上通过 eval() 执行。

贡献

如果你想为这个基准测试添加自己的测试，请随时提交一个 PR！只要内容有趣，我都很乐意接受。

添加新测试

添加测试只需满足几个要求：

1. 测试用例必须在机制上可验证。我知道这一点限制很大。我使用大语言模型的很多场景都无法以这种方式验证，尤其是当我给它们提供大量代码并要求进行难以单元测试的具体修改时。但为了使这些测试有用，你的测试必须易于验证。

2. 测试用例应快速完成。我不希望仅仅运行一个测试就等待几分钟。

3. 在构建测试时，不应根据大语言模型的输出来调整测试。不要因为模型的回答不符合你的预期而修改测试。大多数大语言模型都具有一定的随机性，通过多次尝试和错误，总能找到某种方式来诱导出特定行为。我希望看到模型在面对人类编写的、正常提问方式的测试时如何回答，而不是在经过模型优化之后的表现。

4. 测试的设计应确保通过能够展示模型的一些有趣能力。那些专门设计用来让模型失败的“陷阱”式测试，在这种设置中并不实用。

5. 测试用例不得从互联网下载大量数据。不应该让其他人为每次运行这个基准测试买单。如果需要测试某个库，可以将其添加到 Dockerfile 中。

修复测试

这里是否有损坏的测试？我已尽力确保所有测试都是正确的，但无法完全保证其正确性。如果有，请随时提交修复。

请注意：损坏的测试是指答案客观上错误的测试。例如，一个声称 6 是质数的测试。但如果测试只是对一个模糊问题期望特定答案，则不能算作错误。比如，有一个测试问：“我该如何修改 AutoModel.from_pretrained 使其成为带有 LM 头的自动模型？”并期望模型告诉我应该使用 AutoModelForCausalLM 类；尽管存在 AutoModelWithLMHead 类，但这并不是我想要的答案。

我想在学术论文中引用这个项目

恐怕你不需要这样做。至少，如果你试图比较你的新模型为何更好之类的问题，就不需要了。这个基准测试并非为学术论文设计，它只评估非常特定的一组能力。基于前面提到的原因，我认为这个基准测试并不能准确反映学术界人士关心的模型特性。对于“对我是否有用？”这个问题，答案是肯定的；但对于“我的模型是否更好？”这个问题，我认为未必。不过，我已经遇到过几位对此感兴趣的人，他们似乎并不受上述观点的影响。

所以我的建议是：如果你确实想在论文中使用这个基准测试，请链接到这个 GitHub 项目，并包含你所使用的 Git 提交哈希值。我无法保证不会在未事先通知的情况下随意修改测试用例。事实上，这种情况已经在第 1、3 和 6 个测试中发生过了。因此，如果你想让你的论文具有一定的科学性，请务必注明所使用的 Git 提交哈希值。

许可证

版权所有 © 2024，尼古拉斯·卡林尼 nicholas@carlini.com。

本程序是自由软件，您可以按照自由软件基金会发布的 GNU 通用公共许可证条款重新分发和修改它，无论是该许可证的第 3 版，还是（由您选择）任何后续版本。

本程序以“按原样”提供，不提供任何形式的担保，包括对适销性或特定用途适用性的默示担保。有关详细信息，请参阅 GNU 通用公共许可证。

您应随本程序收到一份 GNU 通用公共许可证的副本。如果没有，请访问 http://www.gnu.org/licenses/ 查看。

Yet Another Applied LLM Benchmark 快速上手指南

本指南旨在帮助开发者快速部署并运行 yet-another-applied-llm-benchmark，用于评估大语言模型在实际编程任务（如代码转换、反编译、SQL 生成等）中的表现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux (Ubuntu) 或 macOS。Windows 用户建议使用 WSL2。
• Python 环境：Python 3.8+。
• 容器运行时（必需）：为了安全地执行模型生成的代码，必须安装 Docker 或 Podman。
  • 推荐：Podman（无需 root 权限即可运行容器，更安全）。
  • 备选：Docker（需配置用户权限以避免每次使用 sudo）。
• 浏览器驱动：部分测试涉及 HTML/JS 生成，需安装 Google Chrome 和 Selenium。
  • Ubuntu 安装 Chrome:

    wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
    sudo dpkg -i google-chrome-stable_current_amd64.deb
    

安装步骤

1. 克隆项目与安装依赖

git clone <repository-url>
cd yet-another-applied-llm-benchmark

# 安装基础 Python 依赖
pip install -r requirements.txt

# (可选) 如果需要评估更多种类的模型，安装额外依赖
pip install -r requirements-extra.txt

提示：国内用户如遇 pip 下载缓慢，可添加清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 配置 API 密钥

复制配置文件模板并填入您的 API Key（支持 OpenAI, Claude, Gemini 等）：

cp config.json.example config.json

编辑 config.json，填入对应模型的密钥。注意：即使只测试非 OpenAI 模型，也需配置 OpenAI Key，因为部分测试结果需要调用另一个高质量模型（默认 gpt-4-turbo）进行自动化评判。

3. 构建容器镜像

构建用于隔离运行生成代码的 Docker/Podman 镜像：

# 如果使用 Podman (推荐)
podman build -t llm-benchmark-image .

# 如果使用 Docker
docker build -t llm-benchmark-image .

基本使用

运行完整基准测试

以下命令将对指定模型运行所有测试用例，并生成 HTML 报告：

python main.py --model gpt-3.5-turbo --run-tests --generate-report

• --model: 指定要测试的模型名称（需在 config.json 中配置）。
• --run-tests: 执行测试套件。
• --generate-report: 测试完成后生成对比报告。

运行结束后，可在 evaluation_examples 目录下查看详细的 HTML 结果报告。测试结果缓存将自动保存在 results/ 目录中，便于后续多模型对比。

运行单个测试用例

若只想快速验证某个特定功能（例如 "hello world" 测试）：

PYTHONPATH='.' python tests/print_hello.py

或者通过主脚本指定特定测试：

python main.py --run-tests --test print_hello --model gpt-3.5-turbo-0125

对比不同模型结果

如果您已经运行过多次测试，可以加载保存的结果生成对比网格：

python main.py --load-saved --generate-report --model [model1] --model [model2]