大模型测评记录

榜单查询

简介

1. 本评测是个人性质，使用滚动更新的私有题库进行长期跟踪评测。
2. 本评测侧重模型对逻辑，数学，编程，人类直觉等问题的测试。不够权威，不够全面。仅从一个侧面观察各个大模型的长期进化趋势。
3. 本评测的题库规模不大，长期维持在30题/240个用例以内，不使用任何互联网公开题目。题目每月会有滚动更新。题目不公开，意图是分享一种评测思路，以及个人见解。每个人应该根据自己所需，对大模型进行考察。不可盲信任何评测。
4. 因为题目会每月增减，每个模型的成绩在每个月榜单中会有正负4分左右的变化，属于正常现象。大致排序保持稳定。

---

评测方法

1. 每道题设置若干个得分点，有些题目每个用例通过记1分，有些题目每答出一个符合要求的数据/文本记1分。每题有至少1个得分点。最终得分是计分除以得分点总数，再乘以10。（即每道题满分10分）
2. 每题要求推导过程必须正确，猜对的答案不得分。部分题目有额外要求，输出多余答案会扣分，避免枚举。
3. 要求回答必须完全符合题目要求，如果明确要求不写解释，不得编程等，而回答包含了解释或编程部分，即使正确，也记0分。
4. 评测统一使用官方API或OpenRouter中转。官方有明确建议的温度值，使用官方温度，否则使用默认温度值0.1，推理模型限制思考长度30K，输出长度10K，无法分别设置的模型，设置总输出为40K。非推理模型设置输出长度10K。模型支持的MaxToken达不到上限，就按模型上限。其他参数均默认。部分不提供API的模型使用官网问答。每道题测3遍，取最高分。

---

题目大纲

4、魔方旋转：按规则拧魔方后求魔方颜色
11、岛屿面积：给定字符形式地图，求图中岛屿面积
24、数字规律：给2个示例，找数字变换规律
28、符号定义：重新定义数学符号含义，求数学计算式值
30、日记整理：阅读长文本，按给定条件和多个要求整理文本，考察指令遵循
31、棋盘图案：求经过棋盘上给定2个点的最大面积等腰三角形顶点
32、干支纪年：天干中删除部分，求历史某一年的干支
37、投影问题：给三维投影视图，求对应的立方体体积
38、函数求交：给多个函数求所有交点
39、火车售票：多个车次，多人次操作购票退票，求最终售票情况
41、交织文本解读：从多段交织混合文本中寻找问题答案
42、长文本总结：从文本中提炼关键数据，输出核心摘要
43、目标数：通过数学运算将给定数字组合，计算得到目标数字
44、工具组合：给定若干工具，通过使用工具，得到指定输出
45、程序编写：完成复杂约束下的python编程
48、字符处理：根据规则对一段文本进行字符级别处理和统计
49、激光布局：根据条件约束，在10x10空间中部署满足要求的激光器
50、日志分析：在约20K的生产服务器日志中找到有效线索进行归纳
51、复杂计算：综合考察K12范围内的数学公式和计算能力
52、观棋不语：从一场没有解说的对局中归纳游戏规则
53、管道疏通：使用一定手段使阻塞的管道通畅
54、高级拼图：从多块拼图中选择部分拼图完成图形
55、寻路问题：在给出的地图中寻找符合条件的通路
56、年会抽奖：在多重规则下和复杂文本下找到年会中奖者
57、单词组合：从数百个单词中找到满足条件的N个词
58、规则推导：给给出的计算示范中推导计算规则
59、代码阅读：复现约300行的算法代码的计算结果
60、程序编写：完成有多个相互影响条件的程序编写

---

更新机制

• 新模型测试后，总榜实时更新
• 每月底做一次成绩归档
• 每个模型的详细评测首发在知乎个人号: 知乎主页，和微信公众号：大模型观测员

llm_benchmark 快速上手指南

注意：llm_benchmark 是一个用于记录和分析大模型在逻辑、数学、编程等维度表现的评测数据集与方法论项目，而非一个可直接通过 pip install 安装的命令行工具。本指南旨在帮助开发者理解其评测机制，并基于提供的题目大纲自行构建评测脚本或参与测试。

环境准备

本项目主要涉及大模型 API 调用与结果分析，无复杂的系统依赖。

• 操作系统：Windows / macOS / Linux 均可
• 编程语言：推荐 Python 3.8+（用于编写调用脚本和解析结果）
• 前置依赖：
  • 有效的各大模型官方 API Key 或 OpenRouter API Key
  • 网络连接（需访问模型服务商接口）
  • 基础文本处理能力（用于构造 Prompt 和解析输出）

安装步骤

由于本项目是开源的评测记录与题库思路分享，无需执行传统的安装命令。

1. 获取题库思路 克隆仓库或下载题目大纲（参考 README 中的“题目大纲”部分），根据描述的逻辑自行构造测试用例。

   git clone https://github.com/llm2014/llm_benchmark.git
   

2. 准备评测脚本 使用 Python 编写简单的评测脚本，核心逻辑需遵循以下规则：

   • 构造符合题目要求的 Prompt（严格限制输出格式，如“不写解释”、“不得编程”）。
   • 调用模型 API（温度设置：官方建议值或默认 0.1）。
   • 针对推理模型限制思考长度（30K）和输出长度（10K），非推理模型输出长度设为 10K。
   • 每道题重复测试 3 次，取最高分。

基本使用

本项目的核心在于复现评测逻辑。以下是一个基于 Python 的简易评测流程示例，演示如何针对“题目 24：数字规律”进行单次测试。

1. 构造测试请求

根据评测方法，设置参数并发送请求。

import openai  # 或其他模型 SDK

def evaluate_model(prompt, api_key, base_url):
    client = openai.OpenAI(api_key=api_key, base_url=base_url)
    
    # 评测参数设置
    temperature = 0.1  # 默认温度
    max_tokens = 10000 # 非推理模型输出上限
    
    try:
        response = client.chat.completions.create(
            model="target-model-name",
            messages=[{"role": "user", "content": prompt}],
            temperature=temperature,
            max_tokens=max_tokens,
            # 推理模型需额外控制思考长度，此处为示例
            extra_body={"max_reasoning_tokens": 30000} 
        )
        return response.choices[0].message.content
    except Exception as e:
        return f"Error: {str(e)}"

# 示例：题目 24 数字规律 (假设题目内容)
test_prompt = """
给定以下数字变换规律：
输入 2 -> 输出 6
输入 5 -> 输出 20
请计算：输入 8 -> 输出？
要求：直接输出数字，不要包含任何解释或推导过程。
"""

# 执行测试
result = evaluate_model(test_prompt, "YOUR_API_KEY", "https://api.openrouter.ai/v1")
print(f"模型回答：{result}")

2. 评分逻辑

根据项目规则手动或自动评分：

• 得分点检查：答案是否正确（本例应为特定数值）。
• 格式检查：若回答中包含“解释”、“推导”等多余内容，即使答案正确也记 0 分。
• 最终计分：单题满分 10 分，多题平均分即为模型得分。

3. 查看榜单

完成测试后，可将数据与官方榜单对比，或访问项目主页查看最新排名趋势：

• 榜单查询：https://llm2014.github.io/llm_benchmark/
• 详细解读：关注知乎主页 toyama 或微信公众号“大模型观测员”。