EvalPlus(📖) => 📚

📙关于 • 🔥快速入门 • 🚀LLM后端 • 📚文档 • 📜引用 • 🙏致谢

📢 新闻

哪些团队正在使用 EvalPlus 数据集？EvalPlus 已被多个 LLM 团队采用，其中包括：

• Meta Llama 3.1 和 3.3
• Allen AI TÜLU 1/2/3
• Qwen2.5-Coder
• CodeQwen 1.5
• DeepSeek-Coder V2
• Qwen2
• Snowflake Arctic
• StarCoder2
• Magicoder
• WizardCoder

以下是 EvalPlus 的重要更新记录：

• [2024-10-20 v0.3.1]：EvalPlus v0.3.1 正式发布！亮点：(i) 通过 EvalPerf 进行代码效率评估，(ii) 一条命令即可完成生成 + 后处理 + 评估的全流程，(iii) 支持更多推理后端，如 Google Gemini 和 Anthropic 等。
• [2024-06-09 pre v0.3.0]：改进了 MBPP+ 任务（ID：459、102、559）的基准答案。感谢 EvalArena。
• [2024-04-17 pre v0.3.0]：MBPP+ 升级至 v0.2.0，移除了部分损坏的任务（从 399 个减少到 378 个）。预计 pass@1 准确率可提升约 4 个百分点。

📙 关于

EvalPlus 是一个针对 LLM4Code 的严格评估框架，包含以下内容：

• ✨ HumanEval+：测试用例数量是原始 HumanEval 的 80 倍！
• ✨ MBPP+：测试用例数量是原始 MBPP 的 35 倍！
• ✨ EvalPerf：用于评估 LLM 生成代码的效率！
• ✨ 框架：我们的软件包、容器镜像和工具能够方便、安全地在上述基准上评估 LLM。

为什么选择 EvalPlus？

• ✨ 精准评估：请查看 我们的排行榜，了解最新 LLM 在严格评估前后的排名情况。
• ✨ 代码严谨性：对比分数差异！尤其是使用 EvalPlus 测试前后！分数下降越少，说明代码生成越严谨；而分数下降越多，则表明生成的代码可能较为脆弱。
• ✨ 代码效率：除了正确性之外，我们的 EvalPerf 数据集还通过性能测试型编码任务和测试输入，评估 LLM 生成代码的效率。

想了解更多细节吗？请阅读我们的论文和相关资料！

• EvalPlus：NeurIPS'23 论文、演示文稿、海报、排行榜
• EvalPerf：COLM'24 论文、海报、文档、排行榜

🔥 快速入门

代码正确性评估：HumanEval(+) 或 MBPP(+)

pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"
# 或者使用 `pip install "evalplus[vllm]" --upgrade` 获取最新稳定版本

evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                  --dataset [humaneval|mbpp]             \
                  --backend vllm                         \
                  --greedy

# 本地生成
evalplus.codegen --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                 --dataset humaneval                    \
                 --backend vllm                         \
                 --greedy

# 在 Docker 中执行代码
docker run --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
           evalplus.evaluate --dataset humaneval                                     \
           --samples /app/humaneval/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_0.0.jsonl

代码效率评估：EvalPerf（仅限 *nix 系统）

pip install --upgrade "evalplus[perf,vllm] @ git+https://github.com/evalplus/evalplus"
# 或者使用 `pip install "evalplus[perf,vllm]" --upgrade` 获取最新稳定版本

sudo sh -c 'echo 0 > /proc/sys/kernel/perf_event_paranoid' # 启用 perf
evalplus.evalperf --model "ise-uiuc/Magicoder-S-DS-6.7B" --backend vllm

docker run --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
           evalplus.evalperf --model "ise-uiuc/Magicoder-S-DS-6.7B" --backend vllm

本地生成

evalplus.codegen --model "ise-uiuc/Magicoder-S-DS-6.7B"
--dataset evalperf
--backend vllm
--temperature 1.0
--n-samples 100

在 Docker 中执行代码

sudo sh -c 'echo 0 > /proc/sys/kernel/perf_event_paranoid' # 启用 perf docker run --cap-add PERFMON --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest
evalplus.evalperf --samples /app/evalperf/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_1.0.jsonl

</div>
</details>

## 🚀 LLM 后端

### HuggingFace 模型

- `transformers` 后端：

```bash
evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                  --dataset [humaneval|mbpp]             \
                  --backend hf                           \
                  --greedy

[!注意]

EvalPlus 对基础模型和聊天模型使用不同的提示模板。 默认情况下，当使用 hf 或 vllm 作为后端时，会通过 tokenizer.chat_template 自动检测。 对于其他后端，仅允许使用聊天模式。

因此，如果您的基础模型带有 tokenizer.chat_template， 请添加 --force-base-prompt 参数，以避免在聊天模式下进行评估。

# 安装 Flash Attention 2
pip install packaging ninja
pip install flash-attn --no-build-isolation
# 注意：如果遇到安装问题，可以考虑使用来自 https://github.com/Dao-AILab/flash-attention/releases 的预编译 wheel 文件

# 使用 FA2 运行评估
evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B"         \
                  --dataset [humaneval|mbpp]                     \
                  --backend hf                                   \
                  --attn-implementation [flash_attention_2|sdpa] \
                  --greedy

• vllm 后端：

evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                  --dataset [humaneval|mbpp]             \
                  --backend vllm                         \
                  --tp [TENSOR_PARALLEL_SIZE]            \
                  --greedy

• 兼容 OpenAI 的服务器（例如 vLLM）：

# OpenAI 模型
export OPENAI_API_KEY="{KEY}" # https://platform.openai.com/settings/organization/api-keys
evalplus.evaluate --model "gpt-4o-2024-08-06"  \
                  --dataset [humaneval|mbpp]   \
                  --backend openai --greedy

# DeepSeek
export OPENAI_API_KEY="{KEY}" # https://platform.deepseek.com/api_keys
evalplus.evaluate --model "deepseek-chat"              \
                  --dataset [humaneval|mbpp]           \
                  --base-url https://api.deepseek.com  \
                  --backend openai --greedy

# Grok
export OPENAI_API_KEY="{KEY}" # https://console.x.ai/
evalplus.evaluate --model "grok-beta"             \
                  --dataset [humaneval|mbpp]      \
                  --base-url https://api.x.ai/v1  \
                  --backend openai --greedy

# vLLM 服务器
# 首先启动一个 vLLM 服务器：https://docs.vllm.ai/en/latest/serving/deploying_with_docker.html
evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                  --dataset [humaneval|mbpp]             \
                  --base-url http://localhost:8000/v1    \
                  --backend openai --greedy

# GPTQModel
evalplus.evaluate --model "ModelCloud/Llama-3.2-1B-Instruct-gptqmodel-4bit-vortex-v1" \
                  --dataset [humaneval|mbpp]                                          \
                  --backend gptqmodel --greedy

OpenAI 模型

• 从 OpenAI 控制台访问 OpenAI API

export OPENAI_API_KEY="[YOUR_API_KEY]"
evalplus.evaluate --model "gpt-4o"            \
                  --dataset [humaneval|mbpp]  \
                  --backend openai            \
                  --greedy

Anthropic 模型

• 从 Anthropic 控制台访问 Anthropic API

export ANTHROPIC_API_KEY="[YOUR_API_KEY]"
evalplus.evaluate --model "claude-3-haiku-20240307" \
                  --dataset [humaneval|mbpp]        \
                  --backend anthropic               \
                  --greedy

Google Gemini 模型

• 从 Google AI Studio访问 Gemini API

export GOOGLE_API_KEY="[YOUR_API_KEY]"
evalplus.evaluate --model "gemini-1.5-pro"    \
                  --dataset [humaneval|mbpp]  \
                  --backend google            \
                  --greedy

Amazon Bedrock 模型

• Amazon Bedrock

export BEDROCK_ROLE_ARN="[BEDROCK_ROLE_ARN]"
evalplus.evaluate --model "anthropic.claude-3-5-sonnet-20241022-v2:0" \
                  --dataset [humaneval|mbpp]                          \
                  --backend bedrock                                   \
                  --greedy

Ollama 后端

• Ollama

evalplus.evaluate --model "mistral:7b" \
                  --dataset [humaneval|mbpp]          \
                  --backend ollama                    \
                  --base-url http://localhost:11434/v1 \
                  --greedy

英特尔® Gaudi® 加速器

• 英特尔® Gaudi®

要为英特尔 Gaudi 运行 hf 后端，需先安装 optimum-habana。

pip install git+https://github.com/huggingface/optimum-habana.git
evalplus.evaluate --model "qwen/CodeQwen1.5-7B-Chat" \
                  --dataset [humaneval|mbpp]         \
                  --backend hf_gaudi                 \
                  --greedy                           \
                  --torch_compile

或者在懒惰模式下：

PT_HPU_LAZY_MODE=1 evalplus.evaluate --model "qwen/CodeQwen1.5-7B-Chat" \
                  --dataset [humaneval|mbpp]                            \
                  --backend hf_gaudi                                    \
                  --greedy

要为英特尔 Gaudi 运行 vllm 后端，需先安装 HabanaAI vllm。

git clone https://github.com/HabanaAI/vllm-fork.git
cd vllm-fork
git checkout habana_main
pip install --upgrade pip
pip install -r requirements-hpu.txt
python setup.py develop

然后运行：

PT_HPU_LAZY_MODE=1 evalplus.evaluate --model "qwen/CodeQwen1.5-7B-Chat" \
                  --dataset [humaneval|mbpp]                            \
                  --backend vllm                                        \
                  --greedy

您可以在 evalplus_results/[humaneval|mbpp]/ 查看生成结果。

git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt

📚 文档

如需了解更多关于如何使用 EvalPlus 的信息，请参阅：

• EvalPlus 命令
• EvalPerf
• 程序执行

📜 引用

@inproceedings{evalplus,
  title = {Is Your Code Generated by Chat{GPT} Really Correct? Rigorous Evaluation of Large Language Models for Code Generation},
  author = {Liu, Jiawei and Xia, Chunqiu Steven and Wang, Yuyao and Zhang, Lingming},
  booktitle = {Thirty-seventh Conference on Neural Information Processing Systems},
  year = {2023},
  url = {https://openreview.net/forum?id=1qvx610Cu7},
}

@inproceedings{evalperf,
  title = {Evaluating Language Models for Efficient Code Generation},
  author = {Liu, Jiawei and Xie, Songrun and Wang, Junhao and Wei, Yuxiang and Ding, Yifeng and Zhang, Lingming},
  booktitle = {First Conference on Language Modeling},
  year = {2024},
  url = {https://openreview.net/forum?id=IBCBMeAhmC},
}

🙏 致谢

• HumanEval
• MBPP

EvalPlus 快速上手指南

EvalPlus 是一个用于评估大语言模型代码生成能力（LLM4Code）的严格框架。它提供了 HumanEval+（测试用例比原版多 80 倍）和 MBPP+（多 35 倍），并支持通过 EvalPerf 评估生成代码的执行效率。

环境准备

• 操作系统: Linux 或 macOS (EvalPerf 效率评估仅支持 *nix 系统)。
• Python: 建议 Python 3.8+。
• 硬件: 若使用本地模型推理，需配备 NVIDIA GPU；若调用云端 API，无特殊硬件要求。
• 可选依赖:
  • Docker: 推荐用于安全地执行生成的代码（沙箱环境）。
  • Perf 工具: 若需进行代码效率评估 (EvalPerf)，需开启 Linux perf 权限。

安装步骤

1. 基础安装

推荐使用 pip 直接从 GitHub 安装最新版以获取最新功能（如支持更多后端）：

pip install --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"

提示: 若网络较慢，可尝试配置国内 pip 镜像源（如清华源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade "evalplus[vllm] @ git+https://github.com/evalplus/evalplus"

2. 安装效率评估模块 (可选)

如果需要评估代码运行效率 (EvalPerf)，需额外安装 perf 依赖：

pip install --upgrade "evalplus[perf,vllm] @ git+https://github.com/evalplus/evalplus"

注意：运行 EvalPerf 前需启用 Linux perf 权限：

sudo sh -c 'echo 0 > /proc/sys/kernel/perf_event_paranoid'

3. Docker 环境 (推荐用于安全执行)

为避免生成的代码在本地直接运行带来安全风险，建议使用官方 Docker 镜像进行评估：

docker pull ganler/evalplus:latest

基本使用

场景一：代码正确性评估 (HumanEval+ / MBPP+)

这是最常用的功能，用于测试模型生成代码能否通过所有测试用例。

一键评估模式（自动完成代码生成、后处理和评估）：

evalplus.evaluate --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                  --dataset humaneval \
                  --backend vllm \
                  --greedy

• --dataset: 可选择 humaneval 或 mbpp。
• --backend: 支持 vllm, hf (HuggingFace), openai, anthropic, google 等。
• --greedy: 使用贪婪解码策略。

安全执行模式（本地生成 + Docker 评估）： 如果担心代码安全性，可分两步走：

1. 本地生成代码样本:

   evalplus.codegen --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                    --dataset humaneval \
                    --backend vllm \
                    --greedy
   

2. 在 Docker 中运行评估:

   docker run --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
              evalplus.evaluate --dataset humaneval \
              --samples /app/humaneval/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_0.0.jsonl
   

场景二：代码效率评估 (EvalPerf)

评估生成代码的运行性能（仅限 Linux/macOS）。

evalplus.evalperf --model "ise-uiuc/Magicoder-S-DS-6.7B" --backend vllm

配合 Docker 的安全评估流程:

1. 生成本地样本 (效率评估通常需要多样本采样):

   evalplus.codegen --model "ise-uiuc/Magicoder-S-DS-6.7B" \
                    --dataset evalperf \
                    --backend vllm \
                    --temperature 1.0 \
                    --n-samples 100
   

2. 在 Docker 中评估性能:

   sudo sh -c 'echo 0 > /proc/sys/kernel/perf_event_paranoid'
   docker run --cap-add PERFMON --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest \
              evalplus.evalperf --samples /app/evalperf/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_1.0.jsonl
   

常用后端配置示例

EvalPlus 支持多种模型后端，只需设置对应环境变量并修改 --backend 参数即可：

• OpenAI / 兼容接口 (如 DeepSeek, Grok, vLLM Server):

  export OPENAI_API_KEY="YOUR_API_KEY"
  evalplus.evaluate --model "gpt-4o" --dataset humaneval --backend openai --greedy
  # 对于兼容接口，添加 --base-url 参数，例如：--base-url https://api.deepseek.com
  

• Anthropic:

  export ANTHROPIC_API_KEY="YOUR_API_KEY"
  evalplus.evaluate --model "claude-3-haiku-20240307" --dataset humaneval --backend anthropic --greedy
  

• Google Gemini:

  export GOOGLE_API_KEY="YOUR_API_KEY"
  evalplus.evaluate --model "gemini-1.5-pro" --dataset humaneval --backend google --greedy
  

• HuggingFace 本地模型:

  evalplus.evaluate --model "Qwen/Qwen2.5-Coder-7B-Instruct" --dataset humaneval --backend hf --greedy
  

  注意: 框架会自动检测 Base 模型和 Chat 模型。如果您的 Base 模型包含 tokenizer.chat_template 但希望以 Base 模式评估，请添加 --force-base-prompt 参数。