可逆向追溯的AI驱动研究

data-to-paper 是一个自动化框架，它系统性地引导相互协作的AI智能体完成一项 完整的端到端科学研究，从仅有的 原始数据 出发，最终生成 透明、可逆向追溯且可供人类验证的科学论文 （AI生成的示例论文， Copilot应用演示）。本仓库是论文《自主LLM驱动的研究——从数据到人类可验证的研究论文》（doi:10.1056/AIoa2400555）的代码实现。

快速体验

pip install data-to-paper

然后运行：data-to-paper

有关依赖项，请参阅 INSTALL。

核心特性

• 端到端的领域无关研究。 整个流程覆盖了完整的科研路径，从数据探索、文献检索与构思，到数据分析与解释，再到逐步撰写出一篇完整的研究论文。

• 可追溯的“数据链式”论文。 通过追踪信息流，data-to-paper 生成可逆向追溯且可验证的论文，其中任何数值都可以点击追溯到生成它们的具体代码行 (数据链式演示)。

• 自动驾驶或协同驾驶模式。 该平台既可以完全自主运行，也可以通过 Copilot应用 进行人机协作，使用户能够：

  • 监督、检查并指导研究过程

  • 设定研究目标，或让AI自主提出并检验假设

  • 提供审阅意见，或按需调用AI进行审阅

  • 回退至先前步骤

  • 录制并回放运行过程

  • 跟踪API使用成本

• 编码约束机制。 系统对常用统计软件包进行了封装，并添加了多重约束机制，以最大限度地减少LLM在代码编写中常见的错误。

https://github.com/Technion-Kishony-lab/data-to-paper/assets/31969897/0f3acf7a-a775-43bd-a79c-6877f780f2d4

研究动机：构建透明、可追溯且可验证的AI驱动研究新标准

data-to-paper 框架作为一个研究项目而诞生，旨在理解LLM驱动科学研究的能力与局限性，并探索如何利用LLM加速科研进程，同时保持甚至提升透明度、可追溯性和可验证性等关键科学价值，同时也允许科学家对整个研究过程进行监督和指导 （参见：实时指南）。

实现方式

为实现这一目标，data-to-paper 系统性地引导 LLM与规则引擎相结合的智能体 沿着传统的科研路径推进，从标注数据开始，经过提出研究假设、开展文献检索、编写与调试数据分析代码、解读结果，最终逐步完成整篇研究论文的撰写。

参考文献

data-to-paper 框架已在以下NEJM AI论文中被详细描述：

• Tal Ifargan, Lukas Hafner, Maor Kern, Ori Alcalay 和 Roy Kishony, “自主LLM驱动的研究——从数据到人类可验证的研究论文” 10.1056/AIoa2400555

以及以下预印本中：

• Tal Ifargan, Lukas Hafner, Maor Kern, Ori Alcalay 和 Roy Kishony, “从数据到人类可验证的研究论文的自主LLM驱动研究”， arXiv:2404.17605

示例

我们对以下测试用例运行了 data-to-paper：

• 健康指标（开放目标）。 美国疾病控制与预防中心行为风险因素监测系统（BRFSS）2015年年度数据集的一个干净的未加权子集
  （Kaggle）。以下是 data-to-paper 生成的 示例论文。

尝试：

data-to-paper diabetes

• 社交网络（开放目标）。 第117届美国国会成员之间的 Twitter 互动有向图
  （Fink 等）。以下是 data-to-paper 生成的 示例论文。

尝试：

data-to-paper social_network

• 治疗政策（固定目标）。 新生儿重症监护病房（NICU）中收治的非活力新生儿在治疗指南变更前后接受治疗及预后情况的数据集
  （Saint-Fleur 等）。以下是 data-to-paper 生成的 示例论文。

尝试：

data-to-paper npr_nicu

• 治疗优化（固定目标）。 接受手术后进行机械通气的儿科患者数据集，其中包括基于 X 光片确定的最佳气管插管深度，以及用于机器学习和公式模型以预测该最佳深度的一系列个性化患者特征
  （Shim 等）。以下是 data-to-paper 生成的 示例论文。

我们为这篇论文的研究问题设定了三个难度级别。

1. 简单： 比较两种用于预测最佳插管深度的机器学习方法
   尝试：

data-to-paper ML_easy

2. 中等： 比较一种机器学习方法和一种基于公式的方法来预测最佳插管深度
   尝试：

data-to-paper ML_medium

3. 困难： 比较四种机器学习方法与三种基于公式的方法来预测最佳插管深度
   尝试：

data-to-paper ML_hard

贡献

我们诚邀大家使用自己的数据试用 data-to-paper，并热切期待您的 反馈和建议。 目前，该工具主要针对相对简单的研究目标和数据集设计，适用于提出并检验统计假设的情境。

我们也欢迎各位参与开发和扩展 data-to-paper 框架，将其应用于科学或其他领域。

重要提示

免责声明。 使用本软件即表示您同意承担与其使用相关的所有风险，包括但不限于数据丢失、系统故障或其他可能出现的问题，尤其是运行由大型语言模型生成的代码时可能在您的本地设备上引发的后果。本项目的开发者对因使用本软件而导致的任何损失、损害或其他后果不承担任何责任或义务。

责任归属。 您需对所生成论文的全部内容负责，包括其严谨性、质量、伦理合规性及其他方面。整个流程应由人类全程监督和指导，并由领域专家仔细审核。该流程并非万无一失，为确保结果的准确性和质量，必须有人工干预。

合规性。 您有责任确保基于本软件输出所采取的任何行动或决策均符合所有适用的法律、法规及伦理标准。本项目开发者及贡献者对因使用本软件而产生的任何后果不承担任何责任。此外，data-to-paper 生成的论文均带有水印，以标明其由 AI 生成，用户不得移除该水印。

Token 使用。 请注意，通过外部 API 使用大多数语言模型，尤其是 GPT-4，可能会因 token 使用量较大而产生高额费用。使用本项目即表示您承认自己有责任监控和管理自身的 token 使用量及其相关成本。强烈建议您定期检查 API 使用情况，并设置必要的限制或警报，以避免意外收费。

相关项目

以下是一些其他有趣的多智能体相关项目：

• SakanaAI
• PaperQ2A
• LangChain
• AutoGen
• AutoGPT
• MetaGPT

此外，还有这份精选的 awesome-agents 列表。

data-to-paper 快速上手指南

data-to-paper 是一个自动化研究框架，能够驱动多个 AI 智能体协作，从原始数据出发，自动完成文献检索、假设提出、数据分析、代码编写及论文撰写的全过程。其生成的论文具备“可追溯性”，文中的任何数值均可点击回溯至生成该结果的具体代码行。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows（建议在使用复杂统计包时使用 Linux 或 macOS 以获得最佳兼容性）。
• Python 版本：Python 3.8 或更高版本。
• API 密钥：您需要配置大语言模型（LLM）的 API 密钥（如 OpenAI GPT-4），因为该工具重度依赖外部 LLM 进行推理和代码生成。
  • 注意：使用 GPT-4 等高级模型会产生相应的 Token 费用，请提前准备好账户并监控用量。
• 前置依赖：确保已安装 pip 包管理工具。

安装步骤

可以通过 PyPI 直接安装最新稳定版。国内用户若遇到下载速度慢的问题，建议使用国内镜像源加速安装。

方式一：使用官方源安装

pip install data-to-paper

方式二：使用国内镜像源安装（推荐中国开发者）

pip install data-to-paper -i https://pypi.tuna.tsinghua.edu.cn/simple

提示：安装完成后，请根据项目需求配置环境变量或在运行时传入您的 LLM API Key。具体依赖细节可参考项目根目录下的 INSTALL.md 文件。

基本使用

安装完成后，您可以直接在命令行运行 data-to-paper 命令。该工具内置了几个示例数据集，可用于快速测试全流程功能。

1. 启动交互式向导

直接运行命令进入交互模式，可根据提示选择数据集或自定义研究目标：

data-to-paper

2. 运行内置示例（一键演示）

以下是几个预设的研究场景，直接复制命令即可运行：

• 健康指标分析（开放目标）：基于 CDC 糖尿病健康指标数据集，自动探索并提出假设。

  data-to-paper diabetes
  

• 社交网络分析（开放目标）：分析美国国会成员的 Twitter 互动图谱。

  data-to-paper social_network
  

• 治疗策略评估（固定目标）：分析新生儿重症监护室（NICU）的治疗政策变化影响。

  data-to-paper npr_nicu
  

• 治疗优化挑战（不同难度）：预测儿科患者气管插管的最佳深度。

  • 简单难度（对比 2 种机器学习方法）：

    data-to-paper ML_easy
    

  • 中等难度（对比机器学习与公式法）：

    data-to-paper ML_medium
    

  • 困难难度（对比 4 种机器学习方法与 3 种公式法）：

    data-to-paper ML_hard
    

3. 查看结果

运行结束后，框架将生成完整的研究报告（PDF 格式）。报告中包含可点击的“数据链”标记，点击文中的数字即可定位到生成该数据的源代码位置，实现完全的可验证性。

---

重要提醒：

• 本工具生成的代码会在本地执行，请务必在受控环境中运行，并人工审核最终生成的论文内容。
• 生成的论文带有 AI 创建的水印，请勿移除，以确保学术透明度。