Spider 2.0：在真实企业级文本到SQL工作流上评估语言模型

官网 • 论文 • 数据更新日志 • 提交指南

📰 新闻

• 2025-11-06: 对于近期因Snowflake密码与多因素认证策略升级而导致的登录及凭证问题，我们深表歉意。无论是Web UI登录还是Python凭证访问的行为都已发生变化。
  请在继续操作前仔细阅读更新后的Snowflake使用指南： https://github.com/xlang-ai/Spider2/blob/main/assets/Snowflake_Guideline.md
  感谢您的耐心与理解！

• 2025-10-29: 重大更新！

  1. 我们修复了评估套件的问题，因此分数现在更加准确和稳定。同时，我们也刷新了排行榜上受影响的方法。
  2. 如果您愿意承担Snowflake托管费用（默认情况下spider2-snow是免费的，但查询会被排队），我们可以直接将Spider2的Snowflake数据共享到您自己的Snowflake项目中。详情请参阅Spider2_Data_Host.md。
  3. 如果您遇到MF2A连接错误——即您的凭证无法访问Snowflake仓库——请检查。详情请参阅Snowflake指南。

• 2025-07-13: 我们更新了spider2-snow.jsonl，以解决其中存在的歧义问题；旧版本则更名为spider2-snow-0713.jsonl，供参考。

• 2025-06-10: 我们为Spider 2.0-Snow实现了一个基于工具调用的Spider-Agent，该方法无需Docker，且显著提升了运行性能。

• 2025-05-22: 我们创建了一个新的任务设置Spider2-DBT，并移除了原有的Spider2设置。spider2-dbt仅包含68个任务，能够配合spider-agent-dbt进行快速流畅的基准测试。这是一个全面的、基于代码库级别的文本到SQL任务。

• 2025-04-20: 我们提供了黄金标准表，适用于spider2-lite和spider2-snow，以帮助快速进行基准测试和分析。然而，在使用此设置时，您必须注明正在使用“Oracle表”。

• 2025-01-10: 请参考数据更新日志，以跟踪评估示例的变化。排行榜的结果也将相应动态调整。

• 2024-12-24: 考虑到众多评估需求，我们决定公开所有示例及黄金答案供自行评估。然而，可用的黄金SQL数量较少。排行榜目前仍处于活跃状态。如需正式验证您的方法并将成绩上传至排行榜，请遵循提交指南。

👋 概述

数据

问题/说明位于 spider2-lite.jsonl 和 spider2-snow.jsonl 中。

我们还发布了一些黄金 SQL，以帮助用户设计提示和方法，请注意，我们不建议将发布的 Spider 2.0 黄金 SQL 用于微调。

• spider2-lite-goldSQL
• spider2-snow-goldSQL

🚀 快速入门（Spider2-lite/snow）

注册您自己的 BigQuery 和 Snowflake 账户

1. 若要注册 BigQuery 账户，请按照此指南，获取您自己的凭据。

2. 按照此指南，并填写此Spider2 Snowflake 访问申请，我们将向您发送账户注册邮件，以便您访问 Snowflake 数据库。

重要提示：

• 如果您想访问 Spider 2.0-Lite 的完整数据集，则必须完成步骤1和步骤2。

• 如果您只想访问 Spider 2.0-Snow 的完整数据集，则只需完成步骤2。

Spider 2.0-Snow（工具调用格式，更新于 2025-06-10）

一种无需 Docker 的超快速 Spider-Agent 实现，可用于对任何模型进行快速基准测试。

• spider-agent-tool-call

Spider 2.0-Snow 和 Spider 2.0-Lite（基于 Docker）

我们强烈建议您直接使用 Spider2-snow 和 Spider2-lite 进行基准测试和研究。首先，请运行 Spider-Agent 框架！！

有关更多详细信息，请参阅以下链接：

• spider-agent-lite
• spider-agent-snow

🚀 快速入门（Spider2-dbt）

有关更多详细信息，请参阅以下链接：

• spider2-dbt（数据）
• spider-agent-dbt（方法）

📋 排行榜提交

我们仅发布了 Spider 2.0-Lite、Spider 2.0-Snow 和 Spider 2.0-DBT 部分示例的黄金答案。 您必须遵循此提交指南才能将您的成绩上传至排行榜。

🙇‍♂️ 致谢

我们感谢 Snowflake 对举办 Spider 2.0 挑战赛提供的慷慨支持。 我们还要感谢 Deng Minghang、Xie Tianbao、Xu Yiheng、Zhou Fan、Lan Yuting、Jacobsson Per、Huang Yiming、Xu Canwen、Yao Zhewei 和 Hui Binyuan 对本工作提出的有益反馈。 本网站及提交指南深受 BIRD-SQL 的启发，我们感谢他们的贡献。

✍️ 引用

如果您认为我们的工作有所帮助，请按如下方式引用：

@misc{lei2024spider2,
      title={Spider 2.0: 在真实企业文本到 SQL 工作流上评估语言模型}, 
      author={Lei Fangyu、Chen Jixuan、Ye Yuxiao、Cao Ruisheng、Shin Dongchan、Su Hongjin、Suo Zhaoqing、Gao Hongcheng、Hu Wenjing、Yin Pengcheng、Zhong Victor、Xiong Caiming、Sun Ruoxi、Liu Qian、Wang Sida、Yu Tao},
      year={2024},
      eprint={2411.07763},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07763}, 
}

Spider 2.0 快速上手指南

Spider 2.0 是一个用于评估大语言模型在真实企业级 Text-to-SQL 工作流中表现的基准测试工具。它涵盖了复杂的数据库环境（如 Snowflake, BigQuery, SQLite）和多步骤的代码代理任务。

环境准备

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python: 3.8 或更高版本
• Docker: 必须安装并运行（针对 spider2-lite 和旧版 spider2-snow 方法）。
  • 注：新版 spider-agent-tc (Tool-call) 无需 Docker。
• 账户凭证:
  • Snowflake: 所有用户必须拥有 Snowflake 访问凭证。
  • BigQuery: 仅在使用 spider2-lite 完整数据集时需要。

前置依赖

确保已安装 Git 和 Python 包管理工具。你需要准备以下云数据库账户：

1. Snowflake 账户: 需填写 访问申请表 获取官方提供的数据库访问权限，或自行托管数据。
2. BigQuery 账户 (可选): 仅当需要运行 spider2-lite 全量测试时，需按 BigQuery 指南 配置。

重要提示: 由于 Snowflake 近期升级了密码和 MFA 策略，请务必在阅读代码前仔细查阅最新的 Snowflake 配置指南，否则可能导致登录失败。

安装步骤

1. 克隆仓库

git clone https://github.com/xlang-ai/Spider2.git
cd Spider2

2. 安装 Python 依赖

建议创建虚拟环境以避免冲突：

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
pip install -r requirements.txt

(注：如果根目录没有 requirements.txt，请进入具体的方法文件夹，如 methods/spider-agent-snow 进行安装)

3. 配置凭证

根据你选择的测试场景配置环境变量或配置文件：

• Snowflake: 按照 Snowflake_Guideline.md 配置 snowflake_connection.json 或相关环境变量。
• BigQuery: 配置 GOOGLE_APPLICATION_CREDENTIALS 指向你的服务账号密钥文件。

基本使用

Spider 2.0 提供了多种 Agent 实现，推荐使用最新的 Tool-call 版本（无需 Docker，速度更快）或标准的 Docker 版本。

方案 A：使用 Spider 2.0-Snow (Tool-call 模式，推荐)

此模式无需 Docker，运行速度快，适合快速基准测试。

1. 进入对应目录：

cd methods/spider-agent-tc

2. 运行评估脚本（示例）：

python run_eval.py --model_name gpt-4o --dataset spider2-snow

请将 gpt-4o 替换为你想要测试的模型名称，并确保已配置对应的 API Key。

方案 B：使用 Spider 2.0-Snow / Lite (Docker 模式)

如果你需要测试包含复杂环境依赖的 spider2-lite 或使用标准 Docker 框架：

1. 进入对应目录（以 snow 为例）：

cd methods/spider-agent-snow

2. 启动 Docker 容器并运行评估：

# 构建并运行 (具体命令请参考该目录下的 README)
docker-compose up --build

或者直接在宿主机器运行（需确保 Docker 守护进程已启动）：

python run_evaluation.py --config config/snowflake_config.json

方案 C：使用 Spider 2.0-DBT (代码代理任务)

针对 DBT 任务的轻量级测试：

1. 进入目录：

cd methods/spider-agent-dbt

2. 运行测试：

python run_dbt_eval.py --model_name your-model

输出结果

运行完成后，系统将生成 CSV 格式的评估结果文件。你可以对照部分公开的 Gold SQL 进行自查，若需提交成绩至官方排行榜，请遵循 提交指南。