DeepAnalyze：用于自主数据科学的代理型大型语言模型

作者: 张绍雷、范炬*、范美浩、李国亮、杜晓勇

中国人民大学、清华大学

DeepAnalyze 是首个用于自主数据科学的代理型大语言模型。它无需人工干预即可自主完成广泛的以数据为中心的任务，支持：

• 🛠 完整的数据科学流水线：自动执行数据准备、分析、建模、可视化和报告生成等各类数据科学任务。
• 🔍 开放式数据研究：对多样化的数据源进行深入研究，包括结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）以及非结构化数据（TXT、Markdown），最终生成分析师级别的研究报告。
• 📊 完全开源：DeepAnalyze 的 模型（https://huggingface.co/RUC-DataLab/DeepAnalyze-8B）、**代码**（https://github.com/ruc-datalab/DeepAnalyze）、**训练数据**（https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K）和**演示**（https://huggingface.co/RUC-DataLab/DeepAnalyze-8B）均已开源，允许您部署或扩展自己的数据分析助手。

🔥 新闻

• [2026年3月16日]：更新 DeepAnalyze WebUI v2，界面更加流畅，新增对 HeyWhale API 的支持，并支持基于 Docker 的沙箱式代码执行。更多详情请参阅 Readme。

• [2026年1月31日]：🎉🎉🎉DeepAnalyze 作为官方代理，支持了 2026年（第19届）中国大学生计算机设计大赛大数据主题赛。

• [2025年12月28日] 公告：DeepAnalyze API 密钥现已开放 🎉🎉🎉 您现在可以通过此 Google 表单 或此 飞书表单 申请您的 API 密钥。有关完整详情及使用说明，请参阅 指南 或 飞书 Wiki。

• [2025年11月13日]：DeepAnalyze 现在支持 OpenAI 风格的 API 端点，并可通过命令行终端界面访问。感谢贡献者 @LIUyizheSDU。

• [2025年11月8日]：DeepAnalyze 现在可以通过 JupyterUI 访问，基于 jupyter-mcp-server 构建。感谢贡献者 @ChengJiale150。

• [2025年10月28日]：我们欢迎所有贡献，包括改进 DeepAnalyze 和分享用例（详见 CONTRIBUTION.md）。所有合并的 PR 都将被列为贡献者。

• [2025年10月27日]：DeepAnalyze 引起了广泛关注，一周内获得了 1000+ GitHub 星标和 20万+ Twitter 浏览量。

• [2025年10月21日]：DeepAnalyze 的 论文（https://arxiv.org/abs/2510.16872）、**代码**（https://github.com/ruc-datalab/DeepAnalyze）、**模型**（https://huggingface.co/RUC-DataLab/DeepAnalyze-8B）、**训练数据**（https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K）正式发布！

🖥 演示

WebUI

https://github.com/user-attachments/assets/04184975-7ee7-4ae0-8761-7a7550c5c8fe

上传数据，DeepAnalyze 即可进行面向数据的深度研究 🔍 以及任何以数据为中心的任务 🛠

• 克隆此仓库并下载 DeepAnalyze-8B。
• 使用 vllm 部署 DeepAnalyze-8B：vllm serve DeepAnalyze-8B
• 运行以下脚本启动 API 和界面，然后通过浏览器进行交互（http://localhost:4000）：

  cd demo/chat/frontend
  npm install
  cd ..
  bash start.sh
  
  # 停止 API 和界面
  bash stop.sh
  
  # 如有需要，停止 vllm
  

• 如果您希望在特定 IP 地址下部署，请在 ./demo/chat/backend.py 和 ./demo/chat/frontend/lib/config.ts 中将 localhost 替换为您的 IP 地址。

WebUI v2

https://github.com/user-attachments/assets/2dd1d2aa-6fb9-4202-bc8d-cbe874844725

上传数据，DeepAnalyze即可进行以数据为导向的深度研究🔍以及任何以数据为中心的任务🛠。

• 更加简洁流畅的用户界面

• 新增对HeyWhale API密钥的支持

• 新增基于Docker的沙箱代码执行环境支持。

• 使用方法与WebUI相同。

  cd demo/chat_v2/frontend  
  npm install
  cd ..
  cp .env.example .env 
  bash start.sh
  # 停止API和界面
  bash stop.sh
  
  # 如有需要，停止vllm
  

JupyterUI

https://github.com/user-attachments/assets/a2335f45-be0e-4787-a4c1-e93192891c5f

熟悉Jupyter Notebook吗？试试通过JupyterUI使用DeepAnalyze吧！

• 本Demo以Jupyter Lab作为前端，新建笔记本，将<分析|理解|回答>转换为Markdown单元格，将<代码>转换为代码单元格并执行<执行>。
• 前往demo/jupyter查看更多内容并尝试！
• 👏非常感谢贡献者@ChengJiale150。

CLI

https://github.com/user-attachments/assets/018acae5-b979-4143-ae1e-5b74da453c1d

通过命令行界面体验DeepAnalyze

• 使用vllm部署DeepAnalyze-8B：vllm serve DeepAnalyze-8B

• 启动API服务器并运行CLI界面：

  cd API
  python start_server.py  # 在一个终端中
  
  cd demo/cli
  python api_cli.py       # 在另一个终端中（英文）
  # 或
  python api_cli_ZH.py    # 在另一个终端中（中文）
  

• CLI提供基于Rich的美观界面，支持文件上传和实时流式响应。

• 支持英文和中文界面。

[!TIP]

克隆此仓库，在本地部署DeepAnalyze作为您的数据分析师，无需任何工作流或闭源API即可完成任何数据科学任务。

🔥 Demo的UI为初始版本，欢迎进一步开发，我们将把您列为贡献者。

🚀 快速入门

🔑 使用DeepAnalyze API

API密钥现已开放！

如需申请密钥，请填写以下任一申请表单：

• 主申请表（Google）
• 备用申请表（飞书）

📚 如需全面的使用说明，请参阅API指南：

• 文档
• 飞书Wiki

模型下载

可在RUC-DataLab/DeepAnalyze-8B · Hugging Face或DeepAnalyze-8B · 模型库下载模型。

📊 显存配置推荐参数表

GPU显存	模型类型	推荐max-model-len	是否使用FP8 KV缓存
16GB	8位量化	8192	✓
16GB	4位量化	49152	✓
24GB	原始模型	16384	✓
24GB	8位量化	98304	✓
24GB	4位量化	131072	✓
40GB	原始模型	131072	✓
40GB	8位量化	131072
80GB	原始模型	131072

如需获取量化模型，可使用./quantize.py。

🚀 vLLM启动命令模板

通用命令模板

python -m vllm.entrypoints.openai.api_server \
  --model <model_path> \
  --served-model-name DeepAnalyze-8B \
  --max-model-len <从上表选择> \
  --gpu-memory-utilization 0.95 \
  --port 8000 \
  <根据需要添加fp8> \
  --trust-remote-code

场景示例命令

场景1：16GB显存用户（推荐4位量化版本）

python -m vllm.entrypoints.openai.api_server \
  --model /path/to/deepanalyze/4bit \
  --served-model-name DeepAnalyze-8B \
  --max-model-len 49152 \
  --gpu-memory-utilization 0.95 \
  --port 8000 \
  --kv-cache-dtype fp8 \
  --trust-remote-code

场景2：24GB显存用户（追求最大上下文长度）

python -m vllm.entrypoints.openai.api_server \
  --model /path/to/deepanalyze/4bit \
  --served-model-name DeepAnalyze-8B \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.95 \
  --port 8000 \
  --kv-cache-dtype fp8 \
  --trust-remote-code

场景3：80GB显存用户（最佳性能）

python -m vllm.entrypoints.openai.api_server \
  --model /path/to/original/model \
  --served-model-name DeepAnalyze-8B \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.95 \
  --port 8000 \
  --trust-remote-code

快速选择指南

• 显存有限（<24GB）：使用4位量化版本+FP8 KV缓存
• 平衡配置（24-40GB）：根据需求选择模型类型
• 显存充足（≥40GB）：使用原始模型以获得最佳精度

启动后，可通过http://localhost:8000/v1/completions访问API服务。

环境要求

• 安装以下包：torch、transformers、vllm>=0.8.5

  conda create -n deepanalyze python=3.12 -y
  conda activate deepanalyze
  pip install -r requirements.txt
  
  # 用于训练
  (cd ./deepanalyze/ms-swift/ && pip install -e .)
  (cd ./deepanalyze/SkyRL/ && pip install -e .)
  

• requirements.txt列出了DeepAnalyze推理所需的最低依赖项。训练时请参考./deepanalyze/ms-swift/requirements.txt和./deepanalyze/SkyRL/pyproject.toml。
• 建议将推理和训练环境分开，以避免依赖冲突。

命令交互

• 通过 vllm 部署 DeepAnalyze-8B：vllm serve DeepAnalyze-8B

• 运行以下脚本以执行任何数据科学任务：

  • 您可以指定任意数据科学任务，包括特定的数据任务和开放式数据研究。
  • 您可以指定任意数量的数据源，DeepAnalyze 将自动探索这些数据源。
  • 您可以指定任意类型的数据源，例如结构化数据（数据库、CSV、Excel）、半结构化数据（JSON、XML、YAML）以及非结构化数据（TXT、Markdown）。

  from deepanalyze import DeepAnalyzeVLLM
  
  prompt = """# 指令
  生成一份数据科学报告。
  
  # 数据
  文件1：{"name": "bool.xlsx", "size": "4.8KB"}
  文件2：{"name": "person.csv", "size": "10.6KB"}
  文件3：{"name": "disabled.xlsx", "size": "5.6KB"}
  文件4：{"name": "enlist.csv", "size": "6.7KB"}
  文件5：{"name": "filed_for_bankrupcy.csv", "size": "1.0KB"}
  文件6：{"name": "longest_absense_from_school.xlsx", "size": "16.0KB"}
  文件7：{"name": "male.xlsx", "size": "8.8KB"}
  文件8：{"name": "no_payment_due.xlsx", "size": "15.6KB"}
  文件9：{"name": "unemployed.xlsx", "size": "5.6KB"}
  文件10：{"name": "enrolled.csv", "size": "20.4KB"}"""
  
  workspace = "/home/u2023000922/zhangshaolei/deepanalyze_public/DeepAnalyze/example/analysis_on_student_loan/"
  
  deepanalyze = DeepAnalyzeVLLM(
      "/fs/fast/u2023000922/zhangshaolei/checkpoints/deepanalyze-8b/"
  )
  answer = deepanalyze.generate(prompt, workspace=workspace)
  print(answer["reasoning"])
  

  您将获得一份深度研究报告，该报告可以渲染为 PDF 格式：

  # 学生入学模式与院校转学的综合分析
  
  ## 引言及研究背景
  
  对学生入学模式的分析是教育研究中的一个重要领域，对院校规划、资源分配以及学生支持服务具有重大意义。本研究全面考察了一个包含六所教育机构共1,194条入学记录的数据集，并将其与补充的人口统计、财务及就业状况数据相结合。研究采用了网络分析、预测建模和时间序列模式识别等先进分析技术，以揭示宏观层面的院校趋势以及微观层面的学生流动模式。该数据集具有纵向特性，涵盖了十五个月的入学记录，从而为理解学生在高等教育体系中的复杂路径提供了独特的视角。
  
  我们的方法结合了对入学时长、转学概率和财务指标的定量分析，以及定性...
  
  本研究通过提供关于院校转学网络及其与学生学业成果之间关系的实证证据，丰富了有关学生流动性的现有文献...
  .....
  

  

  更多示例和任务完成详情，请参阅 DeepAnalyze 官网。

API

• 您可以构建一个 OpenAI 风格的 API，使用此脚本（请注意将 API/config.py 中的 MODEL_PATH = "DeepAnalyze-8B" 更改为您的 vllm 模型名称）：

  python API/start_server.py
  

• API 使用方法：

  FILE_RESPONSE=$(curl -s -X POST "http://localhost:8200/v1/files" \
      -F "file=@data.csv" \
      -F "purpose=file-extract")
  
  FILE_ID=$(echo $FILE_RESPONSE | jq -r '.id')
  
  curl -X POST http://localhost:8200/v1/chat/completions \
       -H "Content-Type: application/json" \
       -d "{
          \"model\": \"DeepAnalyze-8B\",
          \"messages\": [
            {
              \"role\": \"user\",
              \"content\": \"生成一份数据科学报告。\",
              \"file_ids\": [\"$FILE_ID\"]
            }
          ]
        }"
  # 等待片刻
  

• 详细信息请参阅 API/README.md。

🎈 开发您自己的 DeepAnalyze

1. 下载模型和训练数据

• 下载 DeepSeek-R1-0528-Qwen3-8B。或者您可以直接基于 DeepAnalyze-8B 进行微调。

  • 如果您使用 DeepSeek-R1-0528-Qwen3-8B 作为基础模型，应添加特殊标记，使用如下命令：

    MODEL_PATH=path_to_DeepSeek-R1-0528-Qwen3-8B
    SAVE_PATH=path_to_save_DeepSeek-R1-0528-Qwen3-8B-addvocab
    
    python deepanalyze/add_vocab.py \
      --model_path "$MODEL_PATH" \
      --save_path "$SAVE_PATH" \
      --add_tags
    

• 下载训练数据 DataScience-Instruct-500K。

  • 解压 DataScience-Instruct-500K/RL/data.zip

2. 基于课程的智能体训练

• 单一能力微调：./scripts/single.sh
• 多能力智能体训练（冷启动）：./scripts/multi_coldstart.sh
• 多能力智能体训练（强化学习）：./scripts/multi_rl.sh

3. 评估

• 我们已使用 vLLM 统一评估了大多数现有的数据科学基准测试（并且还在持续增加中……）。您可以直接按照 ./playground 中的介绍，快速评估 DeepAnalyze 或您自己的智能体。

👏 贡献

我们欢迎任何形式的贡献，合并的 PR 将被列为贡献者。

代码和模型方面的贡献

• 我们欢迎对 DeepAnalyze 的代码、模型和 UI 的各种贡献，例如 Docker 打包、DeepAnalyze 模型的转换和量化，以及提交基于闭源 LLM 的 DeepAnalyze 工作流。
• 您可以直接提交拉取请求。
• 请参阅 开发者指南 获取贡献指南。

案例研究方面的贡献

• 我们也特别鼓励您分享使用 DeepAnalyze 的案例和反馈；这些对于帮助我们改进 DeepAnalyze 极其宝贵。
• 您可以将您的案例放置在 .example/ 下的新文件夹中。我们建议遵循 .example/analysis_on_student_loan/ 的文件结构，其中包括三个部分：
  • data/：存储上传的文件
  • prompt.txt：输入指令
  • README.md：文档说明。我们建议包含输入内容、DeepAnalyze 的输出、其他闭源 LLM 的输出（可选），以及您对该案例的评估和评论。
• DeepAnalyze 只有 8B 参数，因此我们也欢迎那些 DeepAnalyze 表现略逊于闭源 LLM 的案例——这将有助于我们进一步改进 DeepAnalyze。

🤝 致谢

• 训练框架： ms-swift、SkyRL

• 训练数据来源： Reasoning-Table、Spider、BIRD、DABStep

• API密钥及相关服务：HeyWhale社区。

  HeyWhale社区（www.heywhale.com）是全球领先的中文实践型AI社区。通过提供海量数据资源、实战案例、学习资料以及丰富的AI培训活动，汇聚了近百万名AI从业者和爱好者，共同分享见解、交流思想、协作创新，并在实践中快速提升技能。

🖋 引用

如果本仓库对您有所帮助，请按以下方式引用：

@misc{deepanalyze,
      title={DeepAnalyze: 自主数据科学的代理式大型语言模型}, 
      author={张绍磊、范举、范美浩、李国梁、杜晓勇},
      year={2025},
      eprint={2510.16872},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2510.16872}, 
}

如有任何问题，欢迎提交Issue或联系zhangshaolei98@ruc.edu.cn。

🌟 其他

欢迎加入DeepAnalyze微信交流群，与大家畅聊、分享观点！

如果您喜欢DeepAnalyze，请为该项目在GitHub上点个赞⭐。

DeepAnalyze 快速上手指南

DeepAnalyze 是首个用于自主数据科学的代理型大语言模型（Agentic LLM），能够无需人工干预地自动完成数据准备、分析、建模、可视化及报告生成等全流程任务。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• GPU: NVIDIA GPU (支持 CUDA)，显存建议 16GB 以上（最低可运行量化版本）
• Python: 3.9 - 3.11
• Node.js: v18+ (用于部署 WebUI)

前置依赖

确保已安装以下基础工具：

# 检查 Python 版本
python --version

# 检查 Git
git --version

# 检查 Node.js (WebUI 必需)
node --version
npm --version

# 安装 vLLM (推理引擎)
pip install vllm

提示: 国内用户建议使用清华源或阿里源加速 pip 安装： pip install vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

---

2. 安装步骤

第一步：克隆项目

git clone https://github.com/ruc-datalab/DeepAnalyze.git
cd DeepAnalyze

第二步：下载模型

您可以从 Hugging Face 或 ModelScope（魔搭社区，国内推荐）下载模型。

方案 A：使用 Hugging Face (需网络条件)

# 需安装 huggingface-cli
pip install huggingface_hub
huggingface-cli download RUC-DataLab/DeepAnalyze-8B --local-dir ./models/DeepAnalyze-8B

方案 B：使用 ModelScope (国内加速推荐)

# 安装 modelscope
pip install modelscope
# 下载模型
python -c "from modelscope import snapshot_download; snapshot_download('RUC-DataLab/DeepAnalyze-8B', cache_dir='./models')"

第三步：启动推理服务 (vLLM)

根据您的显存大小选择合适的启动命令。以下以 24GB 显存 为例（使用 4-bit 量化以获得更长上下文）：

python -m vllm.entrypoints.openai.api_server \
  --model ./models/DeepAnalyze-8B \
  --served-model-name DeepAnalyze-8B \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.95 \
  --port 8000 \
  --kv-cache-dtype fp8 \
  --trust-remote-code

显存适配参考:

• 16GB: 请使用 4-bit 量化模型，设置 --max-model-len 49152 并添加 --kv-cache-dtype fp8。
• 80GB: 可使用原始模型，移除 --kv-cache-dtype fp8 参数以获得最佳精度。

---

3. 基本使用

启动推理服务后，您可以通过以下三种方式与 DeepAnalyze 交互：

方式一：命令行界面 (CLI) - 最快捷

适合快速测试和终端用户。

1. 启动后端 API（在新终端窗口）：

   cd API
   python start_server.py
   

2. 启动 CLI 客户端（在另一个终端窗口）：

   cd demo/cli
   # 中文界面
   python api_cli_ZH.py
   

   启动后即可上传文件并进行自然对话，系统将自动执行代码分析数据。

方式二：Web 界面 (WebUI) - 功能最全

适合需要可视化操作和报告生成的场景。

1. 安装前端依赖：

   cd demo/chat/frontend
   npm install
   cd ..
   

2. 启动服务：

   bash start.sh
   

3. 访问浏览器： 打开 http://localhost:4000，上传 CSV/Excel/JSON 等数据文件，输入指令即可开始自主分析。

方式三：调用 API

如果您希望将 DeepAnalyze 集成到自己的应用中，可直接调用 OpenAI 兼容接口：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY" # 本地部署无需真实 key
)

response = client.chat.completions.create(
    model="DeepAnalyze-8B",
    messages=[
        {"role": "user", "content": "分析当前目录下的 data.csv 文件，找出销售额最高的产品并绘制趋势图。"}
    ]
)

print(response.choices[0].message.content)

---

进阶提示:

• 若需申请官方 DeepAnalyze API Key 免部署使用，请访问 Google 表单 或 飞书表单 申请。
• 详细文档请参阅项目根目录下的 docs/DeepAnalyze_API_Key_Usage_Guide.md。