🦀 PinchBench

面向AI编码代理的真实世界基准测试

注意: 本仓库包含基准测试的技能/任务。它并非官方排行榜结果的来源。如需将模型加入官方结果，请修改 pinchbench/scripts/default-models.yml。

PinchBench用于衡量LLM模型作为OpenClaw代理大脑时的表现。我们不使用合成测试，而是让代理处理真实任务：安排会议、编写代码、分类处理邮件、研究主题以及管理文件。

结果会汇总在公开排行榜上，地址为 pinchbench.com。

为什么选择PinchBench？

大多数LLM基准测试只评估孤立的能力。而PinchBench则关注对编码代理真正重要的方面：

• 工具使用 — 模型能否以正确的参数调用合适的工具？
• 多步推理 — 它能否将多个动作串联起来完成复杂任务？
• 现实世界的混乱性 — 它能否应对模糊的指令和不完整的信息？
• 实际成果 — 它是否真的创建了文件、发送了邮件或安排了会议？

快速入门

# 克隆技能库
git clone https://github.com/pinchbench/skill.git
cd skill

# 使用您选择的模型运行基准测试
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

# 或者运行特定任务
./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_01_calendar,task_02_stock

注意: 模型ID必须包含其提供商前缀（例如 openrouter/、anthropic/）。默认路由提供商为OpenRouter。

要求:

• Python 3.10+
• uv 包管理器
• 正在运行的OpenClaw实例

测试内容

PinchBench包含23个任务，覆盖多个真实世界类别：

类别	任务	测试内容
生产力	日历、每日摘要	事件创建、时间解析、日程安排
研究	股票价格、会议、市场	网络搜索、数据提取、综合整理
写作	博客文章、邮件、人性化处理	内容生成、语气、格式化
编码	天气脚本、文件结构	代码生成、文件操作
分析	电子表格、PDF、文档	数据处理、总结
邮件	分类、搜索	收件箱管理、过滤
记忆	上下文检索、知识管理	长期记忆、回忆
技能	ClawHub、技能发现	OpenClaw生态系统的集成

每个任务都会由LLM裁判自动评分，或者结合人工评分——确保既客观又细致的评估。

提交结果

要将自己的结果上传到排行榜：

# 注册API令牌（一次性）
./scripts/run.sh --register

# 运行基准测试——结果会自动使用您的令牌上传
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

如果您只想获取本地结果，可以使用 --no-upload 跳过上传步骤。

官方结果

要提交官方运行记录（将在排行榜上标记）：

# 使用环境变量
export PINCHBENCH_OFFICIAL_KEY=your_official_key
./scripts/run.sh --model anthropic/claude-sonnet-4

# 使用命令行参数
./scripts/run.sh --model anthropic/claude-sonnet-4 --official-key your_official_key

命令参考

标志	描述
--model MODEL	要测试的模型（例如 openrouter/anthropic/claude-sonnet-4）
--judge MODEL	用于LLM评分的裁判模型；设置后直接调用API（见下文）
--suite SUITE	all、automated-only，或逗号分隔的任务ID
--runs N	每个任务的运行次数，用于取平均值
--timeout-multiplier N	扩展较慢模型的超时时间
--output-dir DIR	保存结果的目录（默认：results/）
--no-upload	跳过上传到排行榜
--register	请求用于提交的API令牌
--upload FILE	上传之前的结果JSON
--official-key KEY	将提交标记为官方（或使用 PINCHBENCH_OFFICIAL_KEY 环境变量）

裁判

默认情况下（未指定 --judge 标志），LLM裁判会以OpenClaw代理会话的形式运行。当指定了 --judge 时，则会直接调用模型API，绕过OpenClaw的人格注入。

# 默认：OpenClaw代理会话（无需 --judge）
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

# 通过OpenRouter直接调用API
./scripts/run.sh --model openai/gpt-4o --judge openrouter/anthropic/claude-sonnet-4-5

# 通过Anthropic直接调用API
./scripts/run.sh --model openai/gpt-4o --judge anthropic/claude-sonnet-4-5-20250514

# 通过OpenAI直接调用API
./scripts/run.sh --model openai/gpt-4o --judge openai/gpt-4o

# 无头Claude CLI
./scripts/run.sh --model openai/gpt-4o --judge claude

所需的环境变量包括：OPENROUTER_API_KEY、ANTHROPIC_API_KEY 或 OPENAI_API_KEY，具体取决于裁判模型的前缀。

贡献任务

我们欢迎新任务！请查看 tasks/TASK_TEMPLATE.md 了解格式要求。好的任务应具备以下特点：

• 真实世界 — 用户实际会请求代理完成的事情
• 可测量 — 有明确的成功标准，可进行评分
• 可重复 — 相同任务应产生一致的评分
• 具有挑战性 — 测试代理的能力，而不仅仅是LLM的知识

对话记录存档

会话对话记录会自动保存到 results/{run_id}_transcripts/ 目录中，与结果JSON一同存放。每个任务的完整代理对话都会以JSONL文件形式保留（例如 task_01_calendar.jsonl），以便后续分析。

链接

• 排行榜: pinchbench.com
• OpenClaw: github.com/openclaw/openclaw
• 问题追踪: github.com/pinchbench/skill/issues

许可证

MIT — 详情请参阅 LICENSE。

---

爪式人工智能智能体测试 🦞

PinchBench 快速上手指南

PinchBench 是一个面向真实场景的 AI 编码智能体（Coding Agents）基准测试工具。它通过让模型执行日程安排、代码编写、邮件分类等实际任务，评估其作为 OpenClaw 智能体“大脑”的表现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (WSL2 推荐)
• Python 版本：3.10 或更高
• 包管理器：uv (推荐使用 uv 进行依赖管理)
• 核心依赖：必须有一个正在运行的 OpenClaw 实例
• API 密钥：根据使用的模型提供商，需配置相应的环境变量（如 OPENROUTER_API_KEY, ANTHROPIC_API_KEY 或 OPENAI_API_KEY）

提示：国内开发者若访问 GitHub 或 PyPI 较慢，建议配置国内镜像源或使用代理加速网络环境。

安装步骤

1. 克隆仓库 将项目代码克隆到本地：

   git clone https://github.com/pinchbench/skill.git
   cd skill
   

2. 安装依赖 使用 uv 安装项目所需的 Python 依赖（项目通常包含 pyproject.toml 或 requirements.txt，uv 会自动处理）：

   uv sync
   # 或者如果项目脚本已封装好环境，直接运行脚本即可，uv 会在内部调用
   

3. 配置 API 密钥 导出您所使用的模型提供商的 API 密钥。以 OpenRouter 为例：

   export OPENROUTER_API_KEY="your_api_key_here"
   

   注：如果您直接使用 Anthropic 或 OpenAI，请分别导出 ANTHROPIC_API_KEY 或 OPENAI_API_KEY。

4. 启动 OpenClaw 确保您的本地或远程环境中有一个可用的 OpenClaw 实例正在运行，因为 PinchBench 依赖其执行具体任务。

基本使用

1. 运行基准测试

使用默认配置运行所有任务，并指定要测试的模型。模型 ID 必须包含提供商前缀（例如 openrouter/）：

./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

2. 运行特定任务套件

如果您只想测试特定类别的任务（例如日历和股票相关任务），可以使用 --suite 参数：

./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_01_calendar,task_02_stock

3. 查看结果

测试完成后，结果默认保存在 results/ 目录下。

• JSON 结果：包含详细的评分数据。
• 对话记录：完整的智能体交互日志保存在 results/{run_id}_transcripts/ 目录中，格式为 JSONL，便于后续分析。

4. 提交至排行榜（可选）

若希望将结果上传至官方排行榜 pinchbench.com：

• 注册令牌（首次使用）：

  ./scripts/run.sh --register
  

• 自动上传： 运行测试时会自动上传结果（除非添加 --no-upload 标志）：

  ./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4
  

注意：模型标识符格式至关重要，必须遵循 provider/model-name 的格式（如 openrouter/anthropic/claude-sonnet-4）。