DevDocs by CyberAGI 🚀

[!WARNING] 📌 DevDocs 状态: 未公开维护。CyberAGI 拥有增强的内部版本——公共版本即将发布。如有任何问题，请联系 info@cyberagi.ai

将数周的文档研究转化为数小时的高效开发

适合人群 • 功能 • 为什么选择 DevDocs • 快速入门 • 脚本及其用途 • 与 FireCrawl 对比 • Discord 社区 • DevDocs 路线图

🚀 技术合作伙伴

🎯 适合人群

🏢 企业软件开发者

无需花费数周阅读文档和处理技术债务。让 DevDocs 承担繁重的文档理解工作，您可以更快地实现任何技术。

🕸️ 网页爬虫开发者

通过智能发现子 URL（最多 5 层），抓取整个网站内容。无论是内部还是外部网站文档，都能通过智能爬取完美应对。

👥 开发团队

利用内置的 MCP 服务器和 Claude 集成进行智能数据查询，充分利用内部文档。将团队的知识库转化为可操作的资源。

🚀 独立开发者

DevDocs + VSCode (命令行) + 您的想法 = 使用任何技术快速交付产品。在构建下一个大项目时，再也不用陷入文档的泥潭了。

✨ 功能

🧠 智能爬取

• 智能深度控制：可选择 1–5 层爬取深度
• 自动链接发现：查找并分类所有相关内容
• 选择性爬取：精准提取所需内容
• 子 URL 检测：自动发现并映射网站结构

⚡ 性能与速度

• 并行处理：同时爬取多个页面
• 智能缓存：避免重复内容浪费时间
• 懒加载支持：轻松应对现代 Web 应用程序
• 速率限制：尊重目标服务器，不会造成过载

🎯 内容处理

• 纯净提取：去除冗余信息
• 多种格式：导出为 MD 或 JSON 格式，便于 LLM 微调
• 结构化输出：逻辑清晰的内容组织
• MCP 服务器集成：直接用于 AI 处理

🛡️ 企业级特性

• 错误恢复：失败后自动重试
• 完整日志记录：追踪每一步操作
• API 访问：可与您的工具集成
• 团队管理：支持多用户和角色权限

🤔 为什么选择 DevDocs？

存在的问题

文档无处不在，而现有的 LLM 在知识更新方面严重滞后。即使是资深工程师，阅读、理解和实现这些文档也需要数周的时间。我们将其缩短到几小时。

我们的解决方案

DevDocs 将文档带到您面前。只需指向任何技术文档的 URL，它就会：

1. 发现与该技术相关的所有页面
2. 提取有意义的内容，去除冗余信息
3. 将信息逻辑化整理，并存储在 MCP 服务器中，供您的 LLM 查询
4. 以干净、可搜索的格式呈现，支持 MD 或 JSON 导出，方便 LLM 的微调

🔥 我们希望全球任何人都能利用最先进的 LLM 技术，快速构建出色的产品。

💰 定价对比

🚀 快速入门

DevDocs 采用 Docker 部署，设计简单易用，新用户几乎无需复杂配置。

前置条件

• 已在系统上安装 Docker
• Git 用于克隆仓库

使用 Docker 快速启动（推荐）

适用于 Mac/Linux 用户：

# 克隆仓库
git clone https://github.com/cyberagiinc/DevDocs.git

# 进入项目目录
cd DevDocs

# 配置环境变量
# 复制模板文件到 .env
cp .env.template .env

# 确保 .env 中的 NEXT_PUBLIC_BACKEND_URL 设置正确（例如 http://localhost:24125）
# 这样前端（在浏览器中运行）才能与后端服务通信。


# 使用 Docker 启动所有服务
./docker-start.sh

适用于 Windows 用户：实验阶段（尚未测试）

# 克隆仓库
git clone https://github.com/cyberagiinc/DevDocs.git

# 进入项目目录

cd DevDocs

# 配置环境变量
# 复制模板文件到 .env

copy .env.template .env

# 确保 .env 中的 NEXT_PUBLIC_BACKEND_URL 设置正确（例如 http://localhost:24125）

# 这样前端（在浏览器中运行）就能与后端服务通信。

# 前置条件：安装 WSL 2 和 Docker Desktop
# Docker Desktop for Windows 需要 WSL 2。请确保已先安装并运行 WSL 2。
# 1. 安装 WSL 2：按照微软官方指南操作：https://learn.microsoft.com/en-us/windows/wsl/install
# 2. 安装 Docker Desktop for Windows：从 Docker 官网下载并安装。Docker Desktop 包含 Docker Compose。

# 使用 Docker 启动所有服务
docker-start.bat

此单一命令将：

1. 创建所有必要的目录
2. 设置适当的权限
3. 构建并启动所有 Docker 容器
4. 监控服务以确保其正常运行

访问 DevDocs

服务启动后：

• 前端 UI：http://localhost:3001
• 后端 API：http://localhost:24125
• Crawl4AI 服务：http://localhost:11235

日志与监控

使用 Docker 时，日志可通过以下方式访问：

1. 容器日志（推荐用于调试）：

   # 查看特定容器的日志
   docker logs devdocs-frontend
   docker logs devdocs-backend
   docker logs devdocs-mcp
   docker logs devdocs-crawl4ai
   
   # 实时跟踪日志
   docker logs -f devdocs-backend
   

要停止所有服务，请在运行 docker-start 的终端中按 Ctrl+C。

📜 脚本及其用途

DevDocs 包含多种实用脚本，用于开发、测试和维护工作。以下是快速参考：

启动脚本

• start.sh / start.bat / start.ps1 - 启动所有服务（前端、后端、MCP），适用于本地开发。
• docker-start.sh / docker-start.bat - 使用 Docker 容器启动所有服务。

MCP 服务器脚本

• check_mcp_health.sh - 验证 MCP 服务器的健康状况和配置状态。
• restart_and_test_mcp.sh - 重启包含更新 MCP 配置的 Docker 容器，并测试连接性。

Crawl4AI 脚本

• check_crawl4ai.sh - 检查 Crawl4AI 服务的状态和健康状况。
• debug_crawl4ai.sh - 以详细日志模式运行 Crawl4AI，便于故障排除。
• test_crawl4ai.py - 对 Crawl4AI 服务执行测试，验证其功能。
• test_from_container.sh - 在 Docker 容器内测试 Crawl4AI 服务。

通用脚本

• view_result.sh - 以格式化方式显示爬取结果。
• find_empty_folders.sh - 查找项目结构中的空目录。
• analyze_empty_folders.sh - 分析空目录，并按风险等级分类。
• verify_reorganization.sh - 验证代码重构是否成功。

这些脚本组织在以下目录中：

• 根目录：常用操作的主要脚本
• scripts/general/：通用工具脚本
• scripts/docker/：Docker 特定脚本
• scripts/mcp/：MCP 服务器管理脚本
• scripts/test/：测试和验证脚本

🌍 专为开发者打造，由开发者提供支持

DevDocs 不仅仅是一个工具——它是您的文档伴侣，能够：

• 节省时间：将数周的研究缩短至数小时
• 提升理解：获取清晰、有序的文档
• 促进创新：借助任何技术更快地构建
• 支持团队协作：高效共享知识
• 兼容 LLM：现代需求需要现代化解决方案，将 Devdocs 与 LLM 结合使用极其简单直观。只需少量配置，即可同时运行 Devdocs 和 Claude 应用程序，后者会识别 Devdocs 的 MCP 服务器，随时准备基于您的数据进行对话。

🛠️ 为 Rapid 软件开发设置 Cline/Roo Cline。

1. 打开“模式”界面

   • 在 Roo Code 中，点击 + 创建一个新的模式特定提示。
   
   

2. 命名

   • 为该模式命名（例如：Research_MCP）。
   
   

3. 角色定义提示

专长与个性：专长：开发者文档检索、技术综合及文档搜索。个性：系统化、注重细节且精确。提供结构清晰的答案，并明确引用文档章节。
  
行为准则：在解答任何关于 MCP 文档的查询时，务必使用目录工具和章节访问工具。保持回答的清晰性、准确性和可追溯性。

4. 模式特定自定义指令提示

1. 目录工具：返回完整或筛选后的文档主题列表。  
2. 章节访问工具：获取特定文档章节的详细内容。

通用流程：  
查询解析：解析用户查询，提取关键主题、关键词和上下文。根据查询内容识别可能相关的部分（如 API 配置、错误处理等）。

通过目录工具发现：使用目录工具在文档索引中搜索相关章节。根据标题和元数据中的匹配关键词进行筛选或扫描。

利用章节访问工具深入查找：对于每个识别出的 relevant 文档或章节，使用章节访问工具获取其内容。如果需要多个部分的内容，则请求所有相关章节以确保覆盖全面。

综合与答案生成：将检索到的内容整合成连贯完整的答案。引用章节标识符或文档路径以便追溯。验证是否已涵盖查询的所有方面。

错误处理：若未找到匹配章节，调整搜索参数并重试。如果查询仍然模糊不清，或没有相关文档可用，则应明确告知用户。

强制工具使用：  
执行要求：每当收到需要从 MCP 服务器文档中获取信息的查询时，代理必须首先使用目录工具列出潜在的相关主题，然后使用章节访问工具获取必要的详细内容。

搜索与检索工作流：  
解读与提炼：从用户查询中识别关键术语和数据点。

索引查询：立即使用目录工具获取相关文档章节列表。

目标性检索：针对每个有希望的章节，使用章节访问工具获取完整内容。

信息综合：合并检索到的内容，确保包含所有必要细节并清晰引用。

回退与澄清：如果初步搜索结果不充分，可根据需要调整查询参数并检索更多章节。

自定义指令加载：特定于 Research_MCP 模式的额外自定义指令可能会从工作区中的 .clinerules-research-mcp 文件中加载。这些指令可能包括基于不断变化的文档结构或查询类型的进一步优化或约束。
  
最终输出构建：最终答案应条理清晰，直接回应查询，并包含指向 MCP 文档的明确指针（如章节名称或标识符）。确保尽量减少冗余，同时涵盖所有必要细节。

🤝 加入我们的社区

• 🌟 在 GitHub 上为我们点赞
• 👋🏽 在 LinkedIn 上联系我们的创始人
• 💬 加入我们的 Discord 社区

🏆 成功案例

“DevDocs 将我们原本需要三周的实施周期缩短到了两天。它不仅仅是一个爬虫，更是一款开发加速器。”——《财富》100 强企业高级工程师

“借助 DevDocs 快速理解和实现新技术，我只用了原来一半的时间就上线了我的 SaaS 产品。”——成功的独立开发者

🛣️ DevDocs 路线图

本路线图概述了由 Crawl4AI 驱动的先进网页爬取平台 DevDocs 即将推出的增强功能和特性。每一项都旨在充分发挥 Crawl4AI 的能力，确保提供强大、高效且用户友好的网页爬取体验。

⸻

1. 针对动态内容的增强型爬虫逻辑

• 实现 wait_for_images=True，确保所有图片完全加载后再进行提取。
• 设置 scan_full_page=True，强制爬虫滚动整个页面，触发延迟加载的内容。
• 引入 scroll_delay 参数，在每次滚动步骤之间添加延迟，使内容能够正常加载。
• 添加 wait_for 参数，等待特定 DOM 元素表示内容加载已完成。

2. 浏览器池化的热加载

• 实施预热浏览器实例池，避免为每个任务单独启动新浏览器带来的开销。
• 使用 use_persistent_context=True 保持会话数据跨任务传递，减少重复登录和设置的需求。

3. 更新 Docker 容器并集成最新 DevDocs 功能

• 更新 Docker 镜像，融入最新的 DevDocs 功能与优化。
• 包含用于保护 API 端点的环境变量（CRAWL4AI_API_TOKEN）。
• 设置适当的内存限制和资源约束，以优化性能。

4. 多操作系统 Docker 实例支持

• 创建适用于不同架构（如 x86_64、ARM）的 Docker 镜像，以支持广泛的系统环境。
• 实施 CI/CD 流水线，在多种操作系统环境中构建并测试镜像，确保兼容性和稳定性。

5. 内存自适应爬取

• 集成 DevDocs 的 MemoryAdaptiveDispatcher，根据系统内存可用情况动态调整并发度。
• 实现内置速率限制，防止对目标网站造成过大压力，并避免内存不足错误。

6. UI 中的 PDF 上传与内容提取

• 利用 DevDocs 将页面导出为 PDF 并从中提取内容的功能（pdf=True）。
• 开发前端组件，用于处理 PDF 上传、显示提取内容，并允许用户与数据交互。

7. 托管环境：持久化存储与增强用户体验

• 实施自带数据库解决方案，以私密方式存储数据、爬取结果和配置信息，实现跨会话保存。
• 设计直观的仪表盘和界面，供用户管理爬取任务、查看结果并配置设置。
• 确保设计响应迅速，并在各类浏览器中具备良好的可访问性。

星标历史

由 CyberAGI Inc 在 🇺🇸 用 ❤️ 制作

_{让软件开发再次变得更好 贡献到 DevDocs}

DevDocs 快速上手指南

DevDocs 是一款智能文档爬取与处理工具，能将数周的文档研究时间缩短至数小时。它支持深度爬取、内容清洗，并可将结果整理为 Markdown/JSON 格式或直接接入 MCP 服务器供 LLM（如 Claude）调用。

注意：当前版本主要由 CyberAGI 内部维护，公共版本即将发布。本项目完全免费且支持自托管。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows (需 WSL 2)
• 核心依赖：
  • Docker (必须安装)
  • Git (用于克隆代码库)
• 网络环境：由于项目托管在 GitHub，国内用户建议配置代理或使用加速镜像克隆仓库。

安装步骤

推荐使用 Docker 进行一键部署，这是最简便且隔离性最好的方式。

1. 克隆项目

git clone https://github.com/cyberagiinc/DevDocs.git
cd DevDocs

2. 配置环境变量

复制环境变量模板文件：

cp .env.template .env

重要提示：打开 .env 文件，确保 NEXT_PUBLIC_BACKEND_URL 设置为 http://localhost:24125，以保证前端能正常连接后端服务。

3. 启动服务

根据您的操作系统执行相应的启动脚本：

macOS / Linux 用户：

./docker-start.sh

Windows 用户： 前提：已安装 WSL 2 和 Docker Desktop。

docker-start.bat

Windows 权限提示：如果脚本报错提示权限不足，请以管理员身份运行命令行工具，或手动对 logs、storage、crawl_results 目录赋予完全控制权限。

该脚本将自动完成以下操作：

1. 创建必要的目录结构。
2. 设置正确的文件权限。
3. 构建并启动所有 Docker 容器（前端、后端、MCP、Crawl4AI）。
4. 实时监控服务状态。

基本使用

1. 访问界面

服务启动成功后，通过浏览器访问以下地址：

• 前端操作界面：http://localhost:3001
• 后端 API：http://localhost:24125
• Crawl4AI 服务：http://localhost:11235

2. 快速爬取文档

1. 打开前端界面 (http://localhost:3001)。
2. 输入目标技术文档的 URL（例如某开源库的官方文档首页）。
3. 设置爬取深度（支持 1-5 层，默认即可覆盖大部分文档结构）。
4. 点击开始，系统将自动：
   • 智能发现子页面链接。
   • 去除广告和无关内容，提取纯净文本。
   • 将结果保存为结构化数据。

3. 查看结果与集成 LLM

• 查看文件：爬取完成后，可在 crawl_results 目录或通过前端界面查看生成的 Markdown (.md) 或 JSON 文件。
• 对接 AI 助手 (Cline/Roo Code)： DevDocs 内置了 MCP 服务器。配置好 Cline 或 Roo Code 后，添加 DevDocs 的 MCP 服务端点，即可让 AI 直接读取并检索您刚刚爬取的本地文档库，实现基于最新文档的智能问答。

4. 服务监控与停止

• 查看日志（排查问题用）：

  docker logs -f devdocs-backend
  

• 停止服务： 在运行启动脚本的终端中按下 Ctrl+C 即可停止所有容器。