ScrapeCraft - 基于 AI 的网页抓取编辑器

ScrapeCraft 是一个基于 Web 的抓取编辑器，类似于 Cursor，但专门用于网页抓取。它利用 AI 辅助功能，帮助用户通过 ScrapeGraphAI API 构建抓取管道。

https://github.com/user-attachments/assets/defaf7ad-23da-40b7-82cd-3b2a4d1d22c9

功能特性

• 🤖 基于 OpenRouter（Kimi-k2 模型）的 AI 助手
• 🔗 支持多 URL 批量抓取
• 📋 使用 Pydantic 实现动态模式定义
• 💻 生成支持异步的 Python 代码
• 🚀 实时 WebSocket 流式传输
• 📊 结果可视化（表格和 JSON 视图）
• 🔄 使用 Watchtower 自动更新部署

技术栈

• 后端: FastAPI、LangGraph、ScrapeGraphAI
• 前端: React、TypeScript、Tailwind CSS
• 数据库: PostgreSQL
• 缓存: Redis
• 部署: Docker、Docker Compose、Watchtower

先决条件

• Docker 和 Docker Compose
• OpenRouter API 密钥（从 OpenRouter 获取）
• ScrapeGraphAI API 密钥（从 ScrapeGraphAI 获取）

快速入门（使用 Docker）

1. 克隆仓库

   git clone https://github.com/ScrapeGraphAI/scrapecraft.git
   cd scrapecraft
   

2. 设置环境变量

   cp .env.example .env
   

   编辑 .env 文件并添加您的 API 密钥：

   • OPENROUTER_API_KEY: 从 OpenRouter 获取
   • SCRAPEGRAPH_API_KEY: 从 ScrapeGraphAI 获取

3. 使用 Docker 启动应用

   docker compose up -d
   

4. 访问应用

   • 前端: http://localhost:3000
   • API: http://localhost:8000
   • API 文档: http://localhost:8000/docs

5. 停止应用

   docker compose down
   

开发模式

如果您想在开发模式下运行应用而无需使用 Docker：

后端开发

cd backend
pip install -r requirements.txt
uvicorn app.main:app --reload --host 0.0.0.0 --port 8000

前端开发

cd frontend
npm install
npm start

使用方法

1. 创建管道: 点击“新建管道”开始
2. 添加 URL: 使用 URL 管理器添加要抓取的网站
3. 定义模式: 创建用于数据提取的字段
4. 生成代码: 请求 AI 生成抓取代码
5. 执行: 运行管道以抓取数据
6. 导出结果: 可以下载为 JSON 或 CSV 格式

远程更新

该应用内置 Watchtower，可实现自动更新：

1. 将新的 Docker 镜像推送到您的镜像仓库
2. Watchtower 会自动检测并更新容器
3. 无需手动干预

API 端点

• POST /api/chat/message - 向 AI 助手发送消息
• GET /api/pipelines - 列出所有管道
• POST /api/pipelines - 创建新管道
• PUT /api/pipelines/{id} - 更新管道
• POST /api/pipelines/{id}/run - 执行管道
• WS /ws/{pipeline_id} - WebSocket 连接

环境变量

变量	描述	获取方式
OPENROUTER_API_KEY	您的 OpenRouter API 密钥	获取 API 密钥
SCRAPEGRAPH_API_KEY	您的 ScrapeGraphAI API 密钥	获取 API 密钥
JWT_SECRET	用于 JWT 令牌的密钥	生成一个随机字符串
DATABASE_URL	PostgreSQL 连接字符串	由 Docker 自动配置
REDIS_URL	Redis 连接字符串	由 Docker 自动配置

许可证

MIT

ScrapeCraft 快速上手指南

ScrapeCraft 是一款基于 Web 的 AI 驱动爬虫编辑器，专为构建数据采集管道设计。它利用 AI 助手（基于 OpenRouter）和 ScrapeGraphAI API，帮助用户快速定义数据结构、生成异步 Python 代码并执行批量抓取任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Docker 的 Linux、macOS 或 Windows (WSL2)。
• 核心依赖：
  • Docker 及 Docker Compose
  • Git
• API 密钥（必须提前申请）：
  • OpenRouter API Key：用于调用 AI 模型（如 Kimi-k2）。点击获取
  • ScrapeGraphAI API Key：用于核心抓取功能。点击获取

提示：国内开发者若访问 GitHub 或 Docker Hub 较慢，建议配置相应的镜像加速器或使用代理网络。

安装步骤

推荐使用 Docker 进行一键部署，这是最简便且隔离性最好的方式。

1. 克隆项目

git clone https://github.com/ScrapeGraphAI/scrapecraft.git
cd scrapecraft

2. 配置环境变量

复制示例配置文件并编辑：

cp .env.example .env

使用文本编辑器打开 .env 文件，填入您申请的 API 密钥：

OPENROUTER_API_KEY=你的_OpenRouter_Key
SCRAPEGRAPH_API_KEY=你的_ScrapeGraphAI_Key
JWT_SECRET=随机生成的安全字符串
# DATABASE_URL 和 REDIS_URL 在 Docker 模式下通常无需修改

3. 启动服务

使用 Docker Compose 启动所有组件（后端、前端、数据库、缓存）：

docker compose up -d

启动完成后，您可以通过以下地址访问：

• 前端界面：http://localhost:3000
• API 文档：http://localhost:8000/docs

(如需停止服务，运行 docker compose down)

---

基本使用

启动成功后，打开浏览器访问 http://localhost:3000，按以下步骤完成第一次数据采集：

1. 创建管道 (Create Pipeline) 点击界面上的 "New Pipeline" 按钮，输入项目名称以创建新的抓取任务。

2. 添加目标网址 (Add URLs) 在 URL 管理器中，输入您需要抓取的网页地址。支持一次性添加多个 URL 进行批量处理。

3. 定义数据架构 (Define Schema) 使用 Pydantic 风格定义您想要提取的字段（例如：title, price, description）。您可以手动添加，也可以让 AI 协助生成。

4. 生成代码 (Generate Code) 点击 AI 助手按钮，输入指令（例如：“生成提取上述字段的异步爬虫代码”）。系统将自动编写基于 ScrapeGraphAI 的 Python 代码。

5. 执行与查看 (Execute & View) 点击 "Run" 执行管道。结果将通过 WebSocket 实时流式传输，您可以在表格视图或 JSON 视图中直接预览抓取到的数据。

6. 导出数据 (Export) 任务完成后，支持将结果下载为 JSON 或 CSV 格式供后续分析使用。