Fire Enrich - 基于 AI 的数据增强工具

将简单的电子邮件列表转化为包含公司简介、融资信息、技术栈等丰富数据的完整数据集。由 Firecrawl 和多智能体 AI 系统提供支持。

技术栈

• Firecrawl: 网页抓取与内容聚合
• OpenAI: 智能数据提取与整合
• Next.js 15: 带有 App Router 的现代 React 框架

设置

必需的 API 密钥

服务	用途	获取密钥
Firecrawl	网页抓取与内容聚合	firecrawl.dev/app/api-keys
OpenAI	智能数据提取	platform.openai.com/api-keys

快速入门

1. 克隆本仓库
2. 创建一个 .env.local 文件，并填入您的 API 密钥：

   FIRECRAWL_API_KEY=your_firecrawl_key
   OPENAI_API_KEY=your_openai_key
   

3. 安装依赖：npm install 或 yarn install
4. 启动开发服务器：npm run dev 或 yarn dev
5. 打开 http://localhost:3000

示例增强

之前：

{
  "email": "erez@wiz.io"
}

之后：

{
  "email": "erez@wiz.io",
  "companyName": "Wiz",
  "industry": "网络安全",
  "employeeCount": "1001-5000",
  "yearFounded": 2020,
  "headquarters": "纽约，纽约州",
  "fundingStage": "D轮融资",
  "totalRaised": "$9亿美元",
  "website": "https://www.wiz.io",
  "sources": [
    "https://www.wiz.io/about",
    "https://techcrunch.com/2023/02/27/wiz-confirms-300m-at-a-10b-valuation-to-build-out-its-cloud-security-platform/"
  ]
}

工作原理

架构概览：跟踪“ericciarla@firecrawl.dev”在系统中的处理流程

让我们详细看看 Fire Enrich 是如何处理一个真实示例——为电子邮件 ericciarla@firecrawl.dev 进行数据增强的。

graph TD
    Start["输入：ericciarla@firecrawl.dev - 行业、CEO、融资阶段、技术栈"]:::primary
    
    Start -->|1. 提取域名| Domain["域名：firecrawl.dev - 检测到企业邮箱"]:::primary
    
    Domain -->|2. 启动编排| Orchestrator["代理编排器 - 按优化顺序执行各代理 - 每个阶段基于前一阶段的数据"]:::synthesis

    %% 第一阶段：发现
    Orchestrator -->|第一阶段| Discovery["发现代理 - 首先查找公司基本信息"]:::agent
    
    Discovery -->|并行搜索| DiscSearch["并行搜索：Firecrawl 公司、firecrawl.dev、什么是 Firecrawl"]:::search
    
    DiscSearch -->|Firecrawl API| DiscFC["3 个并发 API 调用 - 返回公司官网及基本信息"]:::firecrawl
    
    DiscFC -->|提取| DiscData["公司：Firecrawl - 官网：firecrawl.dev - 类型：B2B SaaS"]:::source

    %% 第二阶段：公司简介
    DiscData -->|第二阶段| Profile["公司简介代理 - 利用第一阶段的公司名称查找行业细节"]:::agent
    
    Profile -->|并行搜索| ProfSearch["并行搜索：Firecrawl 行业分类、Firecrawl 网页抓取 API、开发者工具 Firecrawl"]:::search
    
    ProfSearch -->|Firecrawl API| ProfFC["3 个并发 API 调用 - 搜索行业特定来源"]:::firecrawl
    
    ProfFC -->|提取| ProfData["行业：开发者工具 - 子类别：网页抓取 API - 市场：B2B SaaS"]:::source

    %% 第三阶段：财务信息
    ProfData -->|第三阶段| Funding["财务情报代理 - 结合公司和行业背景搜索融资信息"]:::agent
    
    Funding -->|并行搜索| FundSearch["并行搜索：Firecrawl 融资轮次、Mendable AI 收购 Firecrawl、Firecrawl 投资者 Crunchbase"]:::search
    
    FundSearch -->|Firecrawl API| FundFC["3 个并发 API 调用 - 查看 TechCrunch、Crunchbase 和风险投资新闻网站"]:::firecrawl
    
    FundFC -->|提取| FundData["融资：种子轮 - 属于 Mendable AI - YC 支持的企业"]:::source

    %% 第四阶段：技术栈
    FundData -->|第四阶段| Tech["技术栈代理 - 分析 GitHub 和技术文档 - HTML 源码分析"]:::agent
    
    Tech -->|并行搜索| TechSearch["并行搜索：github.com/mendableai/firecrawl、Firecrawl API 文档、直接 HTML 分析"]:::search
    
    TechSearch -->|Firecrawl API| TechFC["3 个并发 API 调用 - 分析 HTML meta 标签 - 扫描 GitHub 仓库"]:::firecrawl
    
    TechFC -->|提取| TechData["技术栈：Node.js、Python、Redis、Playwright、Kubernetes"]:::source

    %% 第五阶段：通用信息
    TechData -->|第五阶段| General["通用目的代理 - 处理自定义字段 CEO - 综合利用所有先前上下文"]:::agent
    
    General -->|定向搜索| GenSearch["重点搜索：Firecrawl CEO 创始人 Eric、Eric Ciarla Firecrawl、LinkedIn 公司搜索"]:::search
    
    GenSearch -->|Firecrawl API| GenFC["3 个并发 API 调用 - 交叉核对多个来源"]:::firecrawl
    
    GenFC -->|提取| GenData["CEO：Eric Ciarla - Firecrawl 的联合创始人兼 CEO - 曾就职于 Mendable AI"]:::source

    %% 最终整合
    DiscData --> Synthesis
    ProfData --> Synthesis
    FundData --> Synthesis
    TechData --> Synthesis
    GenData --> Synthesis
    
    Synthesis["GPT-4o 最终整合 - 综合所有代理结果 - 解决冲突、验证数据"]:::synthesis
    
    Synthesis -->|输出| Results
    
    subgraph Results[增强后的数据]
        R1["行业：开发者工具 / 网页抓取 - 来源：firecrawl.dev/about"]:::good
        R2["CEO：Eric Ciarla 联合创始人兼 CEO - 来源：linkedin.com/company/firecrawl"]:::good
        R3["融资：种子轮 属于 Mendable AI - 来源：crunchbase.com"]:::good
        R4["技术栈：Node.js、Python、Redis、K8s - 来源：github.com/mendableai/firecrawl"]:::good
    end
    
    Results -->|最终输出| Output["更新后的 CSV 行：ericciarla@firecrawl.dev - 完整档案，新增 4 项数据及来源"]:::answer
    
    classDef primary fill:#ff8c42,stroke:#ff6b1a,stroke-width:2px,color:#fff
    classDef agent fill:#9c27b0,stroke:#7b1fa2,stroke-width:2px,color:#fff
    classDef search fill:#e8e8e8,stroke:#999,stroke-width:2px,color:#333
    classDef firecrawl fill:#ff6b1a,stroke:#ff4500,stroke-width:3px,color:#fff
    classDef source fill:#ffa726,stroke:#ff8c42,stroke-width:2px,color:#000
    classDef synthesis fill:#ff8c42,stroke:#ff6b1a,stroke-width:3px,color:#fff
    classDef good fill:#f5f5f5,stroke:#666,stroke-width:1px,color:#000
    classDef answer fill:#333,stroke:#000,stroke-width:3px,color:#fff

各代理的工作原理

在幕后，每个代理都是一个具有专业技能、搜索策略和类型安全输出模式的专用模块：

1. 发现代理（第一阶段）

   • 确定公司的基本信息：官方名称、官网、业务类型
   • 这是至关重要的第一步，为其他所有代理奠定基础
   • 返回：公司名称、官网 URL、业务类型
   • 模式：DiscoveryResult，包含 companyName、website、domain 等字段

2. 公司简介代理（第二阶段）

   • 利用已验证的公司名称搜索行业和市场定位
   • 基于发现阶段的数据，确保行业分类准确无误
   • 返回：行业、子类别、商业模式、市场细分
   • 模式：ProfileResult，包含 industry、headquarters、yearFounded、companyType 等字段

3. 财务情报代理（第三阶段）

   • 结合公司名称和行业背景进行有针对性的融资搜索
   • 了解行业有助于识别相关的投资者数据库
   • 返回：融资阶段、累计融资额、主要投资者、估值
   • 模式：FundingResult，包含 fundingStage、totalRaised、lastRoundAmount、investors 等字段

4. 技术栈代理（第四阶段）

   • 根据公司类型和融资阶段分析技术
   • 包括 HTML 分析、GitHub 仓库扫描以及技术文档解析
   • 返回：编程语言、框架、基础设施、工具
   • 使用：直接采用 EnrichmentResult 模式，灵活提取技术栈信息

5. 通用目的代理（第五阶段）

   • 在完整上下文中处理自定义字段（如 CEO、竞争对手等）
   • 充分利用之前的所有数据进行定向搜索
   • 返回：用户请求的任何自定义字段
   • 使用：根据用户定义的字段动态生成 EnrichmentResult 模式

为什么采用顺序执行？

代理按照精心设计的顺序依次执行，每一阶段都建立在前一阶段的基础上：

• 上下文构建：每个代理都会添加上下文信息，使后续搜索更加精准。例如，了解一家公司的行业有助于融资代理在正确的风险投资数据库中进行搜索。
• 数据验证：后续代理可以对前期的数据进行验证和优化。
• 效率：通过在各阶段之间共享已发现的信息，避免重复搜索，从而提高效率。
• 阶段内并行搜索：虽然代理是按顺序运行的，但每个代理会在同一阶段内并行执行多个搜索，以最大限度地提升速度。

这种架构在准确性和性能之间取得了平衡——我们本可以将所有代理并行运行，但通过共享上下文的顺序执行方式能够产生显著更好的结果。

通过类型安全模式实现可扩展性

每个代理都使用 Zod 模式来确保类型安全，并使系统易于扩展：

// 示例：为 FundingAgent 添加新字段
const FundingResult = z.object({
  fundingStage: z.string().optional(),
  totalRaised: z.string().optional(),
  lastRoundAmount: z.string().optional(),
  investors: z.array(z.string()).optional(),
  // 在此处添加您的新字段：
  debtFinancing: z.string().optional(),
});

要通过新的数据提取功能扩展 Fire Enrich：

1. 添加到现有代理：修改 /lib/agent-architecture/agents/[agent-name].ts 中的 Zod 模式。
2. 创建新代理：定义新的模式并实现 AgentBase 接口。
3. 更新编排器：添加路由逻辑，将字段引导至您的新代理。
4. 使用自定义字段：通用代理会处理所有未被专业代理覆盖的字段。

字段路由系统会自动对用户请求进行分类：

• 包含“industry”或“headquarter”的字段 → 公司简介代理
• 包含“fund”或“invest”的字段 → 财务情报代理
• 包含“employee”或“revenue”的字段 → 指标代理
• 包含“tech”和“stack”的字段 → 技术栈代理
• 其他所有字段 → 通用代理

这种设计使得 Fire Enrich 能够随着您的需求不断增长，同时保持类型安全和可预测的行为。

流程概述

1. 上传与解析：上传包含电子邮件的 CSV 文件。系统会从每封邮件中提取公司域名。
2. 选择字段：根据需要选择所需的数据点，从公司简介到融资阶段等。
3. 顺序执行代理：代理按阶段依次激活，每一阶段都基于之前的发现，以达到最高的准确性。
4. 阶段内并行搜索：在每个阶段内，多个搜索会利用 Firecrawl API 并发执行。
5. AI 合成：GPT-4o 会分析所有发现，解决冲突，并提取结构化数据。
6. 实时结果：您的表格会实时填充，包含丰富后的数据及来源引用。

多代理系统

Fire Enrich 采用了一个复杂的编排系统，用于协调专门的提取模块。这些模块并非自主的 AI 代理，而是经过精心设计、协同工作的组件：

• 发现阶段：通过识别公司及其数字足迹来奠定基础。
• 简介提取：针对行业分类和商业模式分析的专业逻辑。
• 财务情报：在风险投资数据库和新闻源中进行定向搜索。
• 技术分析：深入检查，包括 HTML 解析和代码库分析。
• 自定义字段处理器：灵活提取任何用户定义的数据点。

每个模块都使用 GPT-4o 进行智能数据提取，但遵循经过大量测试优化的确定性搜索模式。这种混合方法结合了结构化编程的可靠性与 AI 驱动理解的灵活性。

核心特性

• 分阶段提取系统：按顺序执行的模块，逐步构建上下文，以获得越来越准确的结果。
• 拖放式 CSV：简单直观的界面，几秒钟即可开始使用。
• 可自定义字段：从常见数据点列表中选择，或用自然语言生成您自己的字段。
• 实时流式传输：通过服务器发送事件（SSE）逐行查看数据的丰富过程。
• 完整来源引用：每条数据都链接回其来源 URL，确保完全透明。
• 跳过常用提供商：自动跳过个人邮箱（如 Gmail、Yahoo 等），以节省 API 调用并专注于公司数据。

配置与无限模式

当您在本地克隆并运行此仓库时，Fire Enrich 会自动启用 无限模式，解除公共演示版的限制。您可以在 app/fire-enrich/config.ts 中配置这些限制：

const isUnlimitedMode = process.env.FIRE_ENRICH_UNLIMITED === 'true' || 
                       process.env.NODE_ENV === 'development';

export const FIRE_ENRICH_CONFIG = {
  CSV_LIMITS: {
    MAX_ROWS: isUnlimitedMode ? Infinity : 15,
    MAX_COLUMNS: isUnlimitedMode ? Infinity : 5,
  },
  REQUEST_LIMITS: {
    MAX_FIELDS_PER_ENRICHMENT: isUnlimitedMode ? 50 : 10,
  },
} as const;

我们的开源理念

坦率地说，专业的数据丰富服务之所以昂贵是有原因的。我们推出 Fire Enrich 的目的并不是要在一夜之间复制成熟平台的所有功能，而是希望构建一个强大、开源的基础，让任何人都能使用、理解并参与贡献。

这仅仅是一个开始。通过将其开源，我们邀请您加入我们的旅程。

• 想添加新代理吗？ 分支这个仓库，向我们展示您的成果。
• 想改进某个数据提取提示吗？ 提交一个拉取请求。
• 有新的功能想法吗？ 在问题区发起讨论。

我们相信，通过公开协作开发，我们可以借助开源社区的集体智慧，打造一款更易获取、更经济实惠且更具适应性的工具。

许可证

MIT 许可证 - 详情请参阅 LICENSE 文件。

贡献

我们欢迎任何形式的贡献！请随时提交拉取请求。

支持

如有任何问题或疑问，请在此仓库中提交一个问题。

Fire Enrich 快速上手指南

Fire Enrich 是一款基于 AI 的数据增强工具，能够将简单的邮箱列表转化为包含公司简介、融资数据、技术栈等丰富信息的结构化数据集。它结合了 Firecrawl（网络爬虫）和多智能体 AI 系统。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Node.js: 建议安装最新 LTS 版本（支持 Next.js 15）。
• 包管理器: npm 或 yarn。
• API 密钥: 您需要准备以下两个服务的 API Key：
  • Firecrawl: 用于网页抓取和内容聚合。获取地址：firecrawl.dev/app/api-keys
  • OpenAI: 用于智能数据提取和合成。获取地址：platform.openai.com/api-keys

注意：由于网络环境原因，访问 OpenAI 和 Firecrawl 服务可能需要配置科学上网环境或在服务器端设置代理。

安装步骤

1. 克隆项目仓库

   git clone https://github.com/mendableai/fire-enrich.git
   cd fire-enrich
   

2. 配置环境变量 在项目根目录下创建 .env.local 文件，并填入您的 API 密钥：

   FIRECRAWL_API_KEY=your_firecrawl_key
   OPENAI_API_KEY=your_openai_key
   

3. 安装依赖 推荐使用国内镜像源加速安装（如淘宝镜像）：

   # 使用 npm
   npm install --registry=https://registry.npmmirror.com
   
   # 或者使用 yarn
   yarn install --registry=https://registry.npmmirror.com
   

4. 启动开发服务器

   npm run dev
   # 或
   yarn dev
   

5. 访问应用 打开浏览器访问 http://localhost:3000。

基本使用

Fire Enrich 的核心功能是将邮箱地址转换为详细的企业档案。

1. 准备数据：准备一个包含邮箱地址的 CSV 文件（例如 leads.csv），或者直接在界面输入单个邮箱。

   • 示例输入数据：erez@wiz.io

2. 选择字段：在 Web 界面中，勾选您想要增强的数据维度，例如：

   • 公司名称 (Company Name)
   • 行业 (Industry)
   • 员工人数 (Employee Count)
   • 融资阶段 (Funding Stage)
   • 技术栈 (Tech Stack)

3. 执行增强：点击运行按钮。系统将按以下流程处理：

   • 域名提取：从邮箱中提取域名（如 wiz.io）。
   • 多智能体协作：系统依次调用发现代理、公司画像代理、财务情报代理等技术模块，并行搜索全网信息。
   • AI 合成：GPT-4o 汇总所有信息，解决冲突并生成结构化数据。

4. 查看结果：界面将实时展示增强后的数据及来源引用。

   • 输入前：{"email": "erez@wiz.io"}
   • 输出后：

     {
       "email": "erez@wiz.io",
       "companyName": "Wiz",
       "industry": "Cybersecurity",
       "employeeCount": "1001-5000",
       "fundingStage": "Series D",
       "totalRaised": "$900M",
       "sources": ["https://www.wiz.io/about", "..."]
     }
     

5. 导出数据：处理完成后，您可以将结果下载为新的 CSV 文件，直接用于后续的业务流程。