🕷️ WaterCrawl 是一款功能强大的 Web 应用程序，使用 Python、Django、Scrapy 和 Celery 来抓取网页并提取相关数据。

🚀 快速入门

1. 🐳 快速入门
2. 💻 开发 （用于贡献）

🐳 快速入门

要在本地 Docker 上构建并运行 WaterCrawl，请按照以下步骤操作：

1. 克隆仓库：

   git clone https://github.com/watercrawl/watercrawl.git
   cd watercrawl
   

2. 构建并运行 Docker 容器：

   cd docker
   cp .env.example .env
   docker compose up -d
   

3. 打开 http://localhost 访问应用

⚠️ 重要提示：如果您是在除 localhost 之外的域名或 IP 地址上部署，务必更新 .env 文件中的 MinIO 配置：

# 将此处的 'localhost' 更改为您的实际域名或 IP
MINIO_EXTERNAL_ENDPOINT=your-domain.com

# 同时相应地更新这些 URL
MINIO_BROWSER_REDIRECT_URL=http://your-domain.com/minio-console/
MINIO_SERVER_URL=http://your-domain.com/

如果未更新这些设置，文件上传和下载将无法正常工作。有关详细信息，请参阅 DEPLOYMENT.md。

重要提示：在部署到生产环境之前，请确保更新 .env 文件以包含适当的配置值。此外，还需设置并配置数据库、MinIO 以及其他所需的服务。更多信息请参阅 部署指南。

💻 开发（用于贡献）

如需进行本地开发和贡献，请遵循我们的 贡献指南 🤝

✨ 功能

• 🕸️ 高级网页爬取与抓取 - 可高度自定义深度、速度及目标内容的网站爬取
• 🔍 强大的搜索引擎 - 通过多种搜索深度（基础、高级、终极）查找全网相关内容
• 🌐 多语言支持 - 支持不同语言的内容搜索与爬取，并可按国家/地区定向
• ⚡ 异步处理 - 通过服务器发送事件 (SSE) 实时监控爬取和搜索进度
• 🔄 带 OpenAPI 的 REST API - 功能全面的 API，附有详细文档和客户端库
• 🔌 丰富的生态系统 - 可与 Dify、N8N 等 AI/自动化平台集成
• 🏠 自托管且开源 - 完全掌控您的数据，部署方式灵活
• 📊 高级结果处理 - 可按自定义参数下载和处理搜索结果

请查看我们的 API 概览，了解更多功能详情。

🛠️ 客户端 SDK

• ✅ Python 客户端 - 功能齐全的 SDK，支持所有 API 端点
• ✅ Node.js 客户端 - 完整的 JavaScript/TypeScript 集成
• ✅ Go 客户端 - 功能齐全的 SDK，支持所有 API 端点
• ✅ PHP 客户端 - 功能齐全的 SDK，支持所有 API 端点
• 🔜 Rust 客户端 - 即将推出

🔌 集成

• ✅ Dify 插件 (源代码)
• ✅ N8N 工作流节点 (源代码)
• ✅ Dify 知识库
• 🔄 Langflow（尚未合并的拉取请求）
• 🔜 Flowise（即将推出）

🔧 插件

• ✅ WaterCrawl 插件
• ✅ OpenAI 插件

⭐ 星标历史

🔒 安全披露

⚠️ 请勿在 GitHub 上发布安全问题。如有疑问，请发送至 support@watercrawl.dev，我们将为您提供更详细的解答。

📄 许可证

本仓库采用 WaterCrawl 许可证 开放，该许可证本质上是 MIT 许可证，但附加了一些限制。

---

WaterCrawl 快速上手指南

WaterCrawl 是一个基于 Python、Django、Scrapy 和 Celery 构建的强大网络爬虫应用，支持高度自定义的网页抓取、数据提取及异步处理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows（需安装 Docker Desktop）
• 核心依赖：
  • Docker (推荐版本 20.10+)
  • Docker Compose (通常随 Docker 桌面版自带)
  • Git
• 网络环境：由于项目托管于 GitHub 且镜像拉取自 Docker Hub，国内用户建议配置 Docker 镜像加速器以确保拉取速度。

安装步骤

WaterCrawl 推荐使用 Docker 进行部署，以下是本地快速启动的具体步骤：

1. 克隆项目仓库

   git clone https://github.com/watercrawl/WaterCrawl.git
   cd WaterCrawl
   

2. 配置环境变量 进入 docker 目录并复制示例配置文件：

   cd docker
   cp .env.example .env
   

3. 启动服务 使用 Docker Compose 后台构建并运行所有容器：

   docker compose up -d
   

⚠️ 重要提示（非本地部署） 如果您计划在域名或非 localhost 的 IP 地址上部署，必须修改 .env 文件中的 MinIO 配置，否则文件上传和下载功能将失效：

# 将 'localhost' 替换为您的实际域名或 IP
MINIO_EXTERNAL_ENDPOINT=your-domain.com

# 同步更新以下 URL
MINIO_BROWSER_REDIRECT_URL=http://your-domain.com/minio-console/
MINIO_SERVER_URL=http://your-domain.com/

基本使用

服务启动成功后，您可以通过浏览器访问主界面。

1. 访问应用 打开浏览器访问： http://localhost

2. 开始抓取

   • 在 Web 界面中配置目标 URL、爬取深度、语言偏好等参数。
   • 提交任务后，系统将通过 Server-Sent Events (SSE) 实时展示爬取进度。
   • 任务完成后，可在线预览或直接下载结构化数据结果。

3. API 调用（可选） WaterCrawl 提供完整的 REST API 及多语言 SDK（Python, Node.js, Go, PHP）。您可以参考 API 文档 集成到您的自动化工作流或 AI 应用中。