DATAGEN（前身为AI-Data-Analysis-MultiAgent）

关于 DATAGEN

DATAGEN 是一个强大的品牌名称，代表了我们利用人工智能技术进行数据生成和分析的愿景。该名称由“DATA”（数据）和“GEN”（生成）组合而成，完美体现了该项目的核心功能——通过多智能体系统实现自动化数据分析与研究。

概述

DATAGEN 是一个先进的 AI 驱动的数据分析与研究平台，它利用多个专业化的智能体来简化数据分析、可视化和报告生成等任务。我们的平台采用了包括 LangChain、OpenAI 的 GPT 模型以及 LangGraph 在内的前沿技术，以处理复杂的研究流程，并整合多种 AI 架构以实现最佳性能。

核心特性

智能分析核心

• 高级假设引擎
  • 基于 AI 的假设生成与验证
  • 自动化研究方向优化
  • 实时假设精炼
• 企业级数据处理
  • 强大的数据清洗与转换
  • 可扩展的分析流水线
  • 自动化质量保证
• 动态可视化套件
  • 交互式数据可视化
  • 自定义报告生成
  • 自动化洞察提取

先进的技术架构

• 多智能体智能
  • 用于不同任务的专业化智能体
  • 智能任务分配
  • 实时协调与优化
• 智能记忆管理
  • 最先进的笔记记录者智能体
  • 高效的上下文保留系统
  • 无缝的工作流集成
• 自适应处理流水线
  • 动态工作流调整
  • 自动资源优化
  • 实时性能监控

DATAGEN 的独特之处

DATAGEN 通过其创新的多智能体架构和智能自动化能力，彻底革新了数据分析方式：

1. 先进的多智能体系统
   • 专业化智能体协同工作
   • 智能任务分配与协调
   • 实时适应复杂的分析需求
2. 智能上下文管理
   • 开创性的笔记记录者智能体用于状态跟踪
   • 高效的内存利用与上下文保留
   • 分析各阶段的无缝集成
3. 企业级性能
   • 健壮且可扩展的架构
   • 一致且可靠的结果
   • 生产就绪的实施

系统要求

• Python 3.10 或更高版本

安装

1. 克隆仓库：

git clone https://github.com/starpig1129/DATAGEN.git

2. 创建并激活 Conda 虚拟环境：

conda create -n datagen python=3.10
conda activate datagen

3. 安装依赖项：

pip install -r requirements.txt

4. 设置环境变量： 将 .env Example 重命名为 .env 并填写所有值

# 您的数据存储路径（必填）
# 同时也被文件系统 MCP 服务器使用
WORKING_DIRECTORY = ./data/

# Conda 环境名称（必填）
CONDA_ENV = datagen

# ChromeDriver 可执行文件路径（必填）
CHROMEDRIVER_PATH = ./chromedriver-linux64/chromedriver

# Firecrawl API 密钥（可选）
# 注意：如果缺少此密钥，查询功能可能会降低
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API 密钥（可选）
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# Anthropic API 密钥（可选）
ANTHROPIC_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# Google API 密钥（可选）
GOOGLE_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API 密钥（可选）
# 用于监控处理过程
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# MCP（模型上下文协议）设置（可选）
# Tavily API 密钥用于网络搜索 MCP 服务器
TAVILY_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
# GitHub 令牌用于 GitHub MCP 服务器
GITHUB_TOKEN = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

使用方法

使用 Python 脚本

您可以通过 main.py 运行系统：

1. 将您的数据文件（例如 YourDataName.csv）放入 data 目录中

2. 修改 main.py 中 main() 函数中的 user_input 变量：

user_input = '''
datapath:YourDataName.csv
使用机器学习进行数据分析并撰写完整的图表报告
'''

3. 运行脚本：

python main.py

主要组件

• hypothesis_agent：生成研究假设
• process_agent：监督整个研究过程
• visualization_agent：创建数据可视化
• code_agent：编写数据分析代码
• searcher_agent：进行文献和网络搜索
• report_agent：撰写研究报告
• quality_review_agent：进行质量审查
• note_agent：记录研究过程

工作流程

系统使用 LangGraph 创建了一个状态图，用于管理整个研究过程。工作流程包括以下步骤：

1. 假设生成
2. 人工选择（继续或重新生成假设）
3. 处理（包括数据分析、可视化、搜索和报告撰写）
4. 质量审查
5. 必要时修改

智能体模型配置

用户可以通过编辑 config/agent_models.yaml 文件来自定义每个智能体的语言模型提供商及模型配置。这使得可以根据不同智能体的需求优化模型选择和参数。

以下是 config/agent_models.yaml 的示例结构：

agents:
  hypothesis_agent:
    provider: openai
    model_config:
      model: gpt-5-nano
      temperature: 1.0
  note_agent:
    provider: google
    model_config:
      model: gemini-2.5-pro
      temperature: 1.0
  code_agent:
    provider: anthropic
    model_config:
      model: claude-haiku-4-5
      temperature: 1.0

• provider：指定要使用的语言模型提供商（例如 openai、google、anthropic、ollama、groq）
• model_config：包含特定于模型的配置参数
  • model：要使用的具体模型名称
  • temperature：控制模型输出的随机性（范围：0.0–2.0）

高级配置系统

DATAGEN 实现了一种强大的基于 Claude Agent Skills 的 渐进式披露 架构来进行智能体配置。

文档

指南	描述
系统架构	高层次概述和核心概念
快速入门	5 分钟内创建新智能体
智能体配置参考	AGENT.md 和 config.yaml 的完整参考
工具配置	可用工具及自定义工具的创建
技能配置	创建并使用可重用的知识模块
MCP 配置	模型上下文协议服务器的设置

主要特性

• 基于技能的架构：可重用的技能存储在 config/skills/ 目录下
• 动态工具加载：通过 ToolFactory 使用 config.yaml 配置工具
• 模型上下文协议 (MCP)：外部服务器集成（文件系统、GitHub、网页搜索）
• 渐进式披露：三层加载策略，用于优化上下文窗口

注意事项

• 请确保您有足够的 API 调用额度，因为系统会进行多次 API 调用。
• 根据任务的复杂程度，整个研究过程可能需要一些时间。
• 警告：代理系统可能会修改正在分析的数据。强烈建议在使用本系统之前备份您的数据。

当前问题及解决方案

1. 提高笔记记录效率
2. 优化整体运行时性能
3. Refiner 模块仍需改进

参与贡献

欢迎提交 Pull 请求。对于重大更改，请先开 Issue 讨论您计划修改的内容。

许可证

本项目采用 MIT 许可证授权 - 详情请参阅 LICENSE 文件。

星标历史

其他项目

以下是我的一些其他知名项目：

PheroPath

PheroPath 是一种基于文件系统的刺激传递通信协议，允许代理和人类在文件上留下不可见的“信息素”（信号）。它无需修改文件内容即可传递上下文、风险（DANGER）或状态（TODO、SAFE），从而促进更好的多智能体协作。

• GitHub: PheroPath

PigPig：高级多模态 LLM Discord 机器人：

一款基于多模态大型语言模型（LLM）的强大 Discord 机器人，旨在通过自然语言与用户互动。 它结合了先进的 AI 技术与实用功能，为 Discord 社区提供丰富的体验。

• GitHub: ai-discord-bot-PigPig

DATAGEN 快速上手指南

DATAGEN 是一个基于多智能体（Multi-Agent）架构的 AI 数据分析与研究平台。它利用 LangChain、LangGraph 及主流大模型（如 GPT、Claude、Gemini），自动化完成从假设生成、数据清洗、代码编写、可视化到报告撰写的全流程研究任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置相应环境变量)
• Python 版本：3.10 或更高
• 包管理器：推荐安装 Conda 用于环境管理
• 浏览器驱动：需下载对应版本的 ChromeDriver（用于网页搜索与交互）
• API Keys：准备至少一个大模型服务商的 API Key（OpenAI / Anthropic / Google 等），可选配置 Firecrawl、Tavily 等增强工具。

安装步骤

1. 克隆项目

git clone https://github.com/starpig1129/DATAGEN.git
cd DATAGEN

2. 创建并激活虚拟环境

建议使用 Conda 创建隔离环境以避免依赖冲突：

conda create -n datagen python=3.10
conda activate datagen

3. 安装依赖

pip install -r requirements.txt

提示：国内用户若下载缓慢，可添加清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 配置环境变量

将示例配置文件重命名为 .env，并根据实际情况填写关键参数：

mv .env\ Example .env

编辑 .env 文件，务必修改以下必填项，并按需填入 API Key：

# 数据存储路径 (必填)
WORKING_DIRECTORY = ./data/

# Conda 环境名称 (必填，需与上面创建的名称一致)
CONDA_ENV = datagen

# ChromeDriver 路径 (必填，请确保已下载对应版本的 chromedriver)
CHROMEDRIVER_PATH = ./chromedriver-linux64/chromedriver

# --- API Keys (按需填写) ---
# Firecrawl (网页抓取，可选)
FIRECRAWL_API_KEY = your_firecrawl_key

# 大模型密钥 (至少配置一个，如 OpenAI)
OPENAI_API_KEY = sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
# ANTHROPIC_API_KEY = ...
# GOOGLE_API_KEY = ...

# LangChain 监控 (可选)
LANGCHAIN_API_KEY = ...

# MCP 工具密钥 (可选，用于联网搜索或 GitHub 访问)
TAVILY_API_KEY = ...
GITHUB_TOKEN = ...

基本使用

1. 准备数据

将您的数据文件（例如 sales_data.csv）放入项目根目录下的 data/ 文件夹中。

2. 配置任务

打开 main.py 文件，找到 main() 函数中的 user_input 变量，修改为您的数据文件名和分析需求：

user_input = '''
datapath:sales_data.csv
Use machine learning to perform data analysis and write complete graphical reports
'''

注：datapath 后的文件名需与 data/ 目录下的实际文件名一致。

3. 运行系统

在终端执行以下命令启动多智能体分析流程：

python main.py

系统将自动执行以下工作流：

1. 假设生成：智能体分析数据并提出研究假设。
2. 人工确认：暂停等待用户选择继续或重新生成假设。
3. 执行分析：自动编写代码、清洗数据、生成图表并进行文献/网络搜索。
4. 质量审查：对结果进行自我审查与修正。
5. 报告输出：生成最终的研究分析报告。

注意：首次运行可能需要较长时间，且会消耗 API 额度。建议在运行前备份重要数据，因为智能体可能会在处理过程中修改数据文件。