📚 LongBench v2：迈向现实长上下文多任务中的深度理解与推理

🌐 项目页面 • 📚 LongBench v2 论文 • 📊 LongBench v2 数据集 • 𝕏 推文

📖 LongBench 论文 • 🤗 LongBench 数据集

📢 原始的 LongBench v1 相关文件已移至 LongBench/ 目录下，请在此处阅读其 README 这里。

LongBench v2 旨在评估大语言模型（LLMs）处理需要深度理解和推理的现实世界多任务中长上下文问题的能力。LongBench v2 具有以下特性：(1) 长度：上下文长度从 8k 到 2M 词不等，大部分在 128k 以下。(2) 难度：极具挑战性，即使人类专家使用文档内的搜索工具也无法在短时间内正确回答。(3) 覆盖范围：涵盖各种现实场景。(4) 可靠性：全部采用多项选择题格式以确保评估的可靠性。

具体来说，LongBench v2 包含 503 道具有挑战性的多项选择题，上下文长度从 8k 到 2M 词，涵盖六大主要任务类别：单文档问答（QA）、多文档问答（QA）、长上下文学习、长对话历史理解、代码仓库理解和长结构化数据理解。为了确保广度和实用性，我们从近 100 名具有不同专业背景的高学历人士那里收集数据。我们采用自动化和人工审查流程来保持高质量和高难度，导致人类专家在 15 分钟的时间限制下准确率仅为 53.7%。我们的评估显示，表现最好的模型直接回答问题时，准确率仅为 50.1%。相比之下，包含更长推理过程的 o1-preview 模型达到了 57.7%，超过了人类基线 4%。这些结果突显了增强推理能力和扩展推理时间计算量以应对 LongBench v2 中长上下文挑战的重要性。

🔍 借助 LongBench v2，我们渴望了解扩展推理时间计算量将如何影响长上下文场景中的深度理解和推理。查看我们的 🏆 排行榜 这里（持续更新中）。

🔥 更新

🔥🔥🔥 [2024/01/15] 更多评估结果添加到我们的 排行榜，包括 Gemini-Exp-1206, Gemini-2.0-Flash, DeepSeek-V3, and MiniMax-Text-01，快去看看吧！

🔥🔥🔥 [2024/12/20] 我们很高兴发布 LongBench v2！与第一代 LongBench 相比，LongBench v2 更长且更具挑战性。其目标是为未来超人类长上下文 AI 系统的发展提供可靠的评估标准。

⚙️ 如何在 LongBench v2 上进行评估

加载数据

您可以通过 Hugging Face 数据集下载并加载 LongBench v2 数据（🤗 HF 仓库）：

from datasets import load_dataset
dataset = load_dataset('THUDM/LongBench-v2', split='train')

或者，您可以从 此链接 下载文件以加载数据。

数据格式

LongBench v2 中的所有数据均标准化为以下格式：

{
    "_id": "Unique identifier for each piece of data",
    "domain": "The primary domain category of the data",
    "sub_domain": "The specific sub-domain category within the domain",
    "difficulty": "The difficulty level of the task, either 'easy' or 'hard'",
    "length": "The length category of the task, which can be 'short', 'medium', or 'long'",
    "question": "The input/command for the task, usually short, such as questions in QA, queries in many-shot learning, etc",
    "choice_A": "Option A", "choice_B": "Option B", "choice_C": "Option C", "choice_D": "Option D",
    "answer": "The groundtruth answer, denoted as A, B, C, or D",
    "context": "The long context required for the task, such as documents, books, code repositories, etc."
}

评估

使用 pip 安装依赖项：pip install -r requirements.txt。

要运行模型评估，首先将您的模型路径及其上下文窗口长度添加到 config/ 中，然后按照以下步骤操作（我们以 GLM-4-9B-Chat 为例）：

步骤 1：使用 vLLM 部署模型

首先，使用 vLLM 部署您的模型。运行以下命令来提供服务：

vllm serve THUDM/glm-4-9b-chat --api-key token-abc123 --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max_model_len 131072 --trust-remote-code

• --tensor-parallel-size 4 指定张量并行切片数量。对于服务更大的模型如 Llama-3.1-70B-Instruct 或 Qwen2.5-72B-Instruct，应设置为更高的值，例如 8。
• 调整 --gpu-memory-utilization 以控制 GPU 内存使用情况。
• 将 --max_model_len 设置为模型的上下文窗口长度。

步骤 2：运行模型推理

一旦您的模型部署完成，修改 pred.py 中的 URL 和 API_KEY 以匹配您的服务实例。使用以下命令运行模型推理：

python pred.py --model GLM-4-9B-Chat

• --cot：启用思维链（CoT）设置下的评估。
• --no_context：测试模型在没有长上下文情况下的性能（纯记忆）。
• --rag N：在检索增强生成（RAG）评估期间使用检索到的前 N 个上下文。默认设置为 0 以禁用 RAG。有关检索过程的详细信息，请参阅 retrieve.py 文件。

步骤 3：导出结果

最后，运行 python result.py 以导出评估结果。

📝 引用

@article{bai2024longbench2,
  title={LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks}, 
  author={Yushi Bai and Shangqing Tu and Jiajie Zhang and Hao Peng and Xiaozhi Wang and Xin Lv and Shulin Cao and Jiazheng Xu and Lei Hou and Yuxiao Dong and Jie Tang and Juanzi Li},
  journal={arXiv preprint arXiv:2412.15204},
  year={2024}
}
@inproceedings{bai2024longbench,
    title = "{L}ong{B}ench: A Bilingual, Multitask Benchmark for Long Context Understanding",
    author = "Bai, Yushi and Lv, Xin  and Zhang, Jiajie  and Lyu, Hongchang  and
      Tang, Jiankai  and Huang, Zhidian  and Du, Zhengxiao  and Liu, Xiao  and Zeng, Aohan  and Hou, Lei  and Dong, Yuxiao  and Tang, Jie  and Li, Juanzi",
    booktitle = "Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = aug,
    year = "2024",
    address = "Bangkok, Thailand",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.acl-long.172",
    doi = "10.18653/v1/2024.acl-long.172",
    pages = "3119--3137",
}

LongBench v2 快速上手指南

LongBench v2 是一个旨在评估大语言模型（LLM）在真实多任务长上下文场景中深度理解与推理能力的基准测试。本指南将帮助您快速完成环境搭建与模型评估。

环境准备

• 系统要求: 支持 Linux / Windows / macOS，需安装 Python 环境。
• 硬件建议: 推荐使用 GPU 进行模型部署（如使用 vLLM）。
• 网络访问: 需能访问 Hugging Face 以加载数据集（国内用户建议使用镜像源或配置代理）。
• 依赖库: 请确保已安装 datasets 等基础库。

安装步骤

1. 克隆代码仓库

   git clone https://github.com/THUDM/LongBench.git
   cd LongBench
   

2. 安装依赖 根据项目根目录下的 requirements.txt 安装所需包：

   pip install -r requirements.txt
   

3. 配置模型参数 在运行评估前，需在 config/ 目录下添加您的模型路径及其上下文窗口长度配置。

基本使用

1. 加载数据

您可以通过 Hugging Face 直接加载数据集，或下载 JSON 文件本地加载：

from datasets import load_dataset
dataset = load_dataset('THUDM/LongBench-v2', split='train')

2. 部署模型

使用 vLLM 部署您的模型服务。示例命令如下（以 GLM-4-9B-Chat 为例）：

vllm serve THUDM/glm-4-9b-chat --api-key token-abc123 --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max_model_len 131072 --trust-remote-code

注意: 对于更大模型（如 Llama-3.1-70B），请将 --tensor-parallel-size 调整为更高值（如 8），并根据显存调整 --gpu-memory-utilization。

3. 运行评估

修改 pred.py 中的 URL 和 API_KEY 以匹配您的服务实例，然后执行推理：

python pred.py --model GLM-4-9B-Chat

常用参数说明：

• --cot: 启用思维链（CoT）设置。
• --no_context: 测试无长上下文下的纯记忆能力。
• --rag N: 启用检索增强生成（RAG），默认关闭（N=0）。

4. 导出结果

评估完成后，运行以下命令导出最终结果：

python result.py