Defog SQLCoder

Defog 的 SQLCoder 是一系列最先进的大型語言模型，用於將自然語言問題轉換為 SQL 查詢。

互動演示 | 🤗 HF 倉庫 | ♾️ Colab | 🐦 Twitter

縮短版

SQLCoder 是一系列大型語言模型，在我們的 sql-eval 框架上進行的自然語言到 SQL 生成任務中，其表現優於 gpt-4 和 gpt-4-turbo，並且顯著超越所有流行的開源模型。

安裝 SQLCoder

如果在具備超過 16GB VRAM 的 NVIDIA GPU 的設備上運行（性能最佳） pip install "sqlcoder[transformers]"

如果在 Apple Silicon 上運行（性能較差，因為量化和缺乏束搜索） CMAKE_ARGS="-DLLAMA_METAL=on" pip install "sqlcoder[llama-cpp]"

如果在沒有 GPU 存取權限的非 Apple Silicon 計算機上運行，請在 Linux/Intel Mac 上執行以下命令： CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install "sqlcoder[llama-cpp]"

而在 Windows 上則執行：

$env:CMAKE_ARGS = "-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS"
pip install "sqlcoder[llama-cpp]"

目前尚未在其他平台上測試 SQLCoder。歡迎大家貢獻力量，協助在其他平台上的測試！

運行 SQLCoder

在您的終端中，運行： sqlcoder launch

這樣您就可以直接連接到您的資料庫，添加元數據並以視覺化方式查詢資料。

授權條款

此倉庫中的程式碼（雖然不多）採用 Apache-2 許可證。模型權重則採用 CC BY-SA 4.0 許可證。簡而言之，您可以將該模型用於任何目的，包括商業用途。然而，如果您修改了權重（例如通過微調），則必須根據相同的許可條款公開您修改後的權重。

訓練

Defog 使用超過 20,000 個由人類精心挑選的問題進行訓練。這些問題基於 10 個不同的資料模式。訓練資料中的任何模式均未包含在我們的評估框架中。

您可以閱讀更多關於我們的 訓練方法 和 評估框架 的資訊。

按問題類別的結果

我們將每個生成的問題分為 6 個類別。下表顯示了各模型按類別正確回答問題的百分比。

	日期	分組	排序	比例	連接	條件
sqlcoder-70b	96	91.4	97.1	85.7	97.1	91.4
sqlcoder-7b-2	96	91.4	94.3	91.4	94.3	77.1
sqlcoder-34b	80	94.3	85.7	77.1	85.7	80
gpt-4	72	94.3	97.1	80	91.4	80
gpt-4-turbo	76	91.4	91.4	62.8	88.6	77.1
natural-sql-7b	56	88.6	85.7	60	88.6	80
sqlcoder-7b	64	82.9	74.3	54.3	74.3	74.3
gpt-3.5	72	77.1	82.8	34.3	65.7	71.4
claude-2	52	71.4	74.3	57.1	65.7	62.9

使用 SQLCoder

您可以通過 transformers 庫使用 SQLCoder，從 Hugging Face 倉庫下載我們的模型權重。我們已添加了針對 推論 的示例代碼，並提供了一個 示例資料庫模式。

python inference.py -q "這裡輸入關於示例資料庫的問題"

# 示例問題：
# 我們從紐約客戶獲得的收入是否高於舊金山客戶？請給出每個城市的總收入，以及兩者之間的差額。

您也可以在我們的網站上使用演示 這裡。

硬體需求

SQLCoder-34B 已在配備 float16 權重的 4xA10 GPU 上進行測試。您也可以在具有 20GB 或以上記憶體的消費級 GPU 上載入該模型的 8 位和 4 位量化版本——例如 RTX 4090、RTX 3090，以及具有 20GB 或以上記憶體的 Apple M2 Pro、M2 Max 或 M2 Ultra 晶片。

待辦事項

• 開源 v1 模型權重
• 使用更多且更具多樣性的數據來訓練模型
• 進一步透過獎勵建模和 RLHF 對模型進行調優
• 從頭開始預訓練一個專門用於 SQL 分析的模型

星星歷史

SQLCoder 快速上手指南

SQLCoder 是 Defog 推出的一系列大语言模型，专为将自然语言问题转换为 SQL 查询而设计。它在多项基准测试中表现优于 GPT-4 及主流开源模型。

环境准备

系统要求

• 高性能推荐：配备 NVIDIA GPU 且显存大于 16GB 的设备（最佳性能）。
• Apple Silicon：Mac M1/M2/M3 系列芯片（因量化和缺乏束搜索支持，性能略低）。
• 无 GPU 环境：Linux 或 Intel Mac，需安装 OpenBLAS；Windows 用户需配置相应环境变量。

前置依赖

• Python 环境
• pip 包管理工具
• (可选) CUDA 驱动（针对 NVIDIA GPU 用户）

安装步骤

请根据您的硬件环境选择对应的安装命令：

场景 1：NVIDIA GPU (显存 > 16GB)

pip install "sqlcoder[transformers]"

场景 2：Apple Silicon (M1/M2/M3)

CMAKE_ARGS="-DLLAMA_METAL=on" pip install "sqlcoder[llama-cpp]"

场景 3：Linux / Intel Mac (无 GPU)

CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install "sqlcoder[llama-cpp]"

场景 4：Windows (无 GPU)

$env:CMAKE_ARGS = "-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS"
pip install "sqlcoder[llama-cpp]"

提示：国内用户若下载缓慢，可配置 pip 国内镜像源（如清华源）： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "sqlcoder[...]"

基本使用

方式一：启动交互式界面

安装完成后，在终端运行以下命令启动本地服务。您可以直接连接数据库，可视化地添加元数据并执行查询。

sqlcoder launch

方式二：命令行推理

您可以直接使用提供的脚本对示例数据库进行问答测试。

python inference.py -q "Question about the sample database goes here"

示例问题：

python inference.py -q "Do we get more revenue from customers in New York compared to customers in San Francisco? Give me the total revenue for each city, and the difference between the two."

方式三：在线体验

无需本地部署，可直接访问官方交互式 Demo 进行测试： https://defog.ai/sqlcoder-demo/