DAIL-SQL

DAIL-SQL 是一种高效优化大型语言模型在文本到 SQL 任务中利用率的方法。它在测试中使用 GPT-4 在 Spider 榜单上取得了 86.2% 的优异成绩，证明了其优越性。值得注意的是，在 Spider-dev 数据集中，每道题仅需约 1600 个 token。此外，通过 GPT-4 的自洽投票机制，我们在 Spider-test 上进一步取得了 86.6% 的更高分数。

高大伟、王海斌、李亚亮、孙秀宇、钱一辰、丁博林和周景仁。 大型语言模型赋能的文本到 SQL：基准评估。 CoRR abs/2308.15363 (2023)。

论文链接：arXiv

概述

为了系统深入地理解文本到 SQL 的提示工程，我们基于实证方法评估了先前研究中的多种策略。首先，我们在零样本场景下比较了不同 LLM 对几种典型问题表示的效果，并分析了各自的优缺点。随后，我们探讨了少样本场景下的示例选择与组织策略。在示例选择方面，我们对比了不同的选择策略，并进一步验证了 LLM 能够从问题与 SQL 框架之间的映射关系中学习的假设。在示例组织方面，我们研究了展示完整信息、仅展示 SQL 查询或问题-SQL 对三种方式的可行性。

最后，我们的综合解决方案 DAIL-SQL 以 86.6% 的执行准确率刷新了 Spider 榜单，荣登榜首。与以往的方案相比，DAIL-SQL 将结构知识编码为 SQL 语句，依据示例的骨架相似性进行选择，并移除示例中的跨领域知识以提高 token 利用效率。

环境搭建

要搭建环境，您需要下载 stanford-cornlp，并将其解压到 ./third_party 文件夹中。接下来，启动 coreNLP 服务器：

apt install default-jre
apt install default-jdk
cd third_party/stanford-corenlp-full-2018-10-05
nohup java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer &
cd ../../

此外，还需设置 Python 环境：

conda create -n DAIL-SQL python=3.8
conda activate DAIL-SQL
python -m pip install --upgrade pip
pip install -r requirements.txt
python nltk_downloader.py

数据准备

您需要将 Spider 下载到 ./dataset/spider 文件夹中。

运行

数据预处理

python data_preprocess.py

提示生成

选择基于掩码问题相似性的示例：

python generate_question.py \
--data_type spider \
--split test \
--tokenizer gpt-3.5-turbo \
--max_seq_len 4096 \
--prompt_repr SQL \
--k_shot 9 \
--example_type QA \
--selector_type  EUCDISQUESTIONMASK

同时考虑问题相似性和查询相似性的示例选择：

python generate_question.py \
--data_type spider \
--split test \
--tokenizer gpt-3.5-turbo \
--max_seq_len 4096 \
--selector_type EUCDISMASKPRESKLSIMTHR \
--pre_test_result [your_pre_generated_queries_file] \
--prompt_repr SQL \
--k_shot 9 \
--example_type QA

调用 LLM

不采用投票机制：

python ask_llm.py \
--openai_api_key [your_openai_api_key]  \
--model gpt-4 \
--question [prompt_dir]

采用自洽投票机制：

python ask_llm.py \
--openai_api_key [your_openai_api_key]  \
--model gpt-4 \
--question [prompt_dir] \
--n 5 \
--db_dir ./dataset/spider/database \
--temperature 1.0

示例运行

bash run_dail_sql_mini.sh [your_openai_api_key]

实验

在本工作中，我们系统性地研究了基于 LLM 的文本到 SQL 方法中的提示工程，涵盖了五种问题表示、两种提示组件、四种示例选择以及三种示例组织方式，并在四款 LLM 上进行了实验。这项研究有助于识别适合的问题表示形式，以及如何利用 LLM 的上下文学习能力来提升文本到 SQL 任务的表现。我们展示了在 Spider 训练集上的实验结果。在此，我们以 Graphix 作为初步模型，预先生成 SQL 查询以获取查询相似性。评估指标请参考 Test Suites。

问题表示

我们在零样本场景下评估了从其他研究中总结出的五种问题表示，并使用了 GPT-4、GPT-3.5-TURBO、TEXT-DAVINCI-003 和 Vicuna-33B 四款 LLM。结果表明，代码表示提示和 OpenAI 展示提示更为优选。

我们还研究了外键和“无解释”规则的影响。结果显示，外键和“无解释”规则对文本到 SQL 任务均有积极作用。

示例选择

随后，我们在少样本场景下研究不同示例选择方法的效果。我们强调，在示例选择中应同时考虑问题相似性和查询相似性，正如DAIL-SQL所做的那样。

少样本	选择方式	问题 相似性	查询 相似性	GPT-4		GPT-3.5-TURBO		TEXT-DAVINCI-003		Vicuna-33B
				EM	EX	EM	EX	EM	EX	EM	EX
0-shot	-	-	-	22.1	72.3	34.6	74.4	31.7	71.7	6.9	43.7
1-shot	随机	0.23	0.47	41.7	77.4	45.9	73.9	38.2	70.6	14.4	47.9
	基于问题相似性的选择	0.39	0.65	53.3	78.8	51.9	74.3	44.1	72.3	16.5	48.5
	掩码式问题相似性选择	0.57	0.80	58.2	79.1	57.4	76.0	47.9	75.0	21.4	48.7
	DAIL选择	0.56	0.95	62.1	80.2	59.5	75.5	51.9	76.9	22.8	49.2
3-shot	随机	0.23	0.48	48.9	79.4	49.0	73.6	41.7	71.6	16.8	46.9
	基于问题相似性的选择	0.37	0.63	56.3	79.2	53.8	74.7	52.2	74.1	21.1	47.1
	掩码式问题相似性选择	0.54	0.78	66.1	81.5	61.1	77.3	59.7	77.0	27.7	52.3
	DAIL选择	0.53	0.94	69.1	81.7	63.9	77.8	64.4	79.5	30.7	53.6
5-shot	随机	0.23	0.48	51.6	79.5	52.9	75.7	49.0	72.1	-	-
	基于问题相似性的选择	0.36	0.61	58.2	79.9	55.9	75.1	54.8	73.2	-	-
	掩码式问题相似性选择	0.52	0.77	66.8	82.0	62.3	77.9	64.7	78.6	-	-
	DAIL选择	0.52	0.94	71.9	82.4	66.7	78.1	67.7	80.5	-	-

示例组织方式

最后，我们考察了DAIL-SQL中的示例组织方式，即在示例中不包含与成本相关的数据库模式信息，而仅向大语言模型展示问题和查询对。在分析中，我们将DAIL-SQL的组织方式与全信息组织和仅SQL组织进行了对比，发现DAIL组织对于强大的大语言模型而言是一种高效且有效的方法。

GPT-4	GPT-3.5-TURBO
TEXT-DAVINCI-003	Vicuna-33B

DAIL-SQL的评估

在评估过程中，我们以GPT-4本身作为获取查询相似性的初步模型。相关命令见run_dail_sql.sh和run_dail_sql_with_sc.sh。

方法	开发集EM	开发集EX	测试集EM	测试集EX
DAIL-SQL+GPT-4	70.0	83.1	66.5	86.2
DAIL-SQL+GPT-4+自一致性	68.7	83.6	66.0	86.6

Bibtex

若DAIL-SQL对您有所帮助，请考虑引用它。谢谢！:)

@article{dail_sql,
    author  =   {Dawei Gao and
    Haibin Wang and
    Yaliang Li and
    Xiuyu Sun and
    Yichen Qian and
    Bolin Ding and
    Jingren Zhou},
    title   =   {大型语言模型赋能的Text-to-SQL：基准评估},
    journal =   {CoRR},
    volume  =   {abs/2308.15363},
    year    =   {2023}
}

致谢

模式链接部分的代码灵感来源于RAT-SQL。

自一致性投票部分的代码灵感来源于C3SQL。

DAIL-SQL 快速上手指南

DAIL-SQL 是一种高效优化大语言模型（LLM）在 Text-to-SQL 任务中表现的框架。它在 Spider 榜单上取得了优异成绩（GPT-4 执行准确率高达 86.6%），通过结构化知识编码、基于骨架相似度的示例选择以及去除跨域知识等策略，显著提升了生成 SQL 的准确性并降低了 Token 消耗。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python 版本: 3.8
• Java 环境: 需要安装 JDK 和 JRE 以运行 Stanford CoreNLP
• 依赖工具: Conda (推荐用于管理 Python 环境)

安装步骤

1. 设置 Java 与 CoreNLP 服务

首先安装 Java 环境，并下载解压 Stanford CoreNLP 到指定目录，然后启动服务。

# 安装 Java 环境
apt install default-jre
apt install default-jdk

# 下载并解压 CoreNLP (需手动下载或替换为国内镜像源链接)
# 假设已下载 stanford-corenlp-full-2018-10-05.zip 到当前目录
mkdir -p third_party
unzip stanford-corenlp-full-2018-10-05.zip -d third_party/

# 启动 CoreNLP 服务器
cd third_party/stanford-corenlp-full-2018-10-05
nohup java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer &
cd ../../

2. 配置 Python 环境

使用 Conda 创建独立环境并安装项目依赖。

# 创建并激活环境
conda create -n DAIL-SQL python=3.8
conda activate DAIL-SQL

# 升级 pip 并安装依赖
python -m pip install --upgrade pip
pip install -r requirements.txt

# 下载 NLTK 数据
python nltk_downloader.py

3. 准备数据集

下载 Spider 数据集 并将其放置在 ./dataset/spider 目录下。

提示：国内用户若下载缓慢，可尝试寻找国内镜像源或手动下载后上传至服务器对应目录。

mkdir -p ./dataset/spider
# 将下载的 spider 数据集文件解压至此目录

4. 数据预处理

运行预处理脚本生成必要的中间文件。

python data_preprocess.py

基本使用

以下是最简单的运行流程，包含提示词生成、调用 LLM 以及执行评估。

1. 生成提示词 (Prompt Generation)

选择与当前问题相似度最高的示例（基于掩码问题相似度）。

python generate_question.py \
--data_type spider \
--split test \
--tokenizer gpt-3.5-turbo \
--max_seq_len 4096 \
--prompt_repr SQL \
--k_shot 9 \
--example_type QA \
--selector_type EUCDISQUESTIONMASK

2. 调用大模型 (Calling the LLM)

方式 A：单次推理（无投票）

python ask_llm.py \
--openai_api_key [your_openai_api_key]  \
--model gpt-4 \
--question [prompt_dir]

方式 B：自一致性投票（推荐，精度更高） 通过多次采样并投票提升结果稳定性。

python ask_llm.py \
--openai_api_key [your_openai_api_key]  \
--model gpt-4 \
--question [prompt_dir] \
--n 5 \
--db_dir ./dataset/spider/database \
--temperature 1.0

3. 一键运行示例

项目提供了一个简化版的运行脚本，可一次性完成上述流程（需替换 API Key）。

bash run_dail_sql_mini.sh [your_openai_api_key]

运行完成后，您可以在输出日志或指定结果文件中查看生成的 SQL 语句及执行准确率（Execution Accuracy）。