[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-cyberagiinc--DevDocs":3,"tool-cyberagiinc--DevDocs":62},[4,18,26,36,46,54],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",158594,2,"2026-04-16T23:34:05",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":42,"last_commit_at":43,"category_tags":44,"status":17},8272,"opencode","anomalyco\u002Fopencode","OpenCode 是一款开源的 AI 编程助手（Coding Agent），旨在像一位智能搭档一样融入您的开发流程。它不仅仅是一个代码补全插件，而是一个能够理解项目上下文、自主规划任务并执行复杂编码操作的智能体。无论是生成全新功能、重构现有代码，还是排查难以定位的 Bug，OpenCode 都能通过自然语言交互高效完成，显著减少开发者在重复性劳动和上下文切换上的时间消耗。\n\n这款工具专为软件开发者、工程师及技术研究人员设计，特别适合希望利用大模型能力来提升编码效率、加速原型开发或处理遗留代码维护的专业人群。其核心亮点在于完全开源的架构，这意味着用户可以审查代码逻辑、自定义行为策略，甚至私有化部署以保障数据安全，彻底打破了传统闭源 AI 助手的“黑盒”限制。\n\n在技术体验上，OpenCode 提供了灵活的终端界面（Terminal UI）和正在测试中的桌面应用程序，支持 macOS、Windows 及 Linux 全平台。它兼容多种包管理工具，安装便捷，并能无缝集成到现有的开发环境中。无论您是追求极致控制权的资深极客，还是渴望提升产出的独立开发者，OpenCode 都提供了一个透明、可信",144296,1,"2026-04-16T14:50:03",[13,45],"插件",{"id":47,"name":48,"github_repo":49,"description_zh":50,"stars":51,"difficulty_score":32,"last_commit_at":52,"category_tags":53,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":55,"name":56,"github_repo":57,"description_zh":58,"stars":59,"difficulty_score":32,"last_commit_at":60,"category_tags":61,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[45,13,15,14],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":68,"readme_en":69,"readme_zh":70,"quickstart_zh":71,"use_case_zh":72,"hero_image_url":73,"owner_login":74,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":109,"forks":110,"last_commit_at":111,"license":112,"difficulty_score":10,"env_os":113,"env_gpu":114,"env_ram":114,"env_deps":115,"category_tags":121,"github_topics":122,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":134,"updated_at":135,"faqs":136,"releases":166},8303,"cyberagiinc\u002FDevDocs","DevDocs","Completely free, private, UI based Tech Documentation MCP server. Designed for coders and software developers in mind. Easily integrate into Cursor, Windsurf, Cline, Roo Code, Claude Desktop App ","DevDocs 是一款完全免费且注重隐私的基于用户界面的技术文档 MCP 服务器，专为程序员和软件开发人员打造。它能轻松集成到 Cursor、Windsurf、Cline、Roo Code 及 Claude Desktop 等主流 AI 编程环境中，让开发者在熟悉的工具里直接获取最新的技术资料。\n\n面对技术文档分散庞大、而大模型训练数据往往滞后的痛点，DevDocs 有效解决了开发者需耗费数周时间查阅文档、理解细节并克服技术债务的难题。它将原本漫长的调研过程压缩至数小时，帮助用户快速掌握任何新技术并投入实际开发。\n\n这款工具特别适合企业软件工程师、独立开发者（Indie Hackers）、爬虫工程师以及需要协作的开发团队。无论是构建新产品还是维护内部知识库，DevDocs 都能成为得力的助手。\n\n其核心技术亮点在于智能爬取能力：支持 1 至 5 层的深度控制，能自动发现并映射网站子链接结构；具备并行处理与智能缓存机制，大幅提升抓取效率；同时支持懒加载网页，并能将清洗后的内容以 Markdown 或 JSON 格式输出，便于大模型微调或直接用于 AI 问答。通过内置的 MCP 服务，De","DevDocs 是一款完全免费且注重隐私的基于用户界面的技术文档 MCP 服务器，专为程序员和软件开发人员打造。它能轻松集成到 Cursor、Windsurf、Cline、Roo Code 及 Claude Desktop 等主流 AI 编程环境中，让开发者在熟悉的工具里直接获取最新的技术资料。\n\n面对技术文档分散庞大、而大模型训练数据往往滞后的痛点，DevDocs 有效解决了开发者需耗费数周时间查阅文档、理解细节并克服技术债务的难题。它将原本漫长的调研过程压缩至数小时，帮助用户快速掌握任何新技术并投入实际开发。\n\n这款工具特别适合企业软件工程师、独立开发者（Indie Hackers）、爬虫工程师以及需要协作的开发团队。无论是构建新产品还是维护内部知识库，DevDocs 都能成为得力的助手。\n\n其核心技术亮点在于智能爬取能力：支持 1 至 5 层的深度控制，能自动发现并映射网站子链接结构；具备并行处理与智能缓存机制，大幅提升抓取效率；同时支持懒加载网页，并能将清洗后的内容以 Markdown 或 JSON 格式输出，便于大模型微调或直接用于 AI 问答。通过内置的 MCP 服务，DevDocs 让静态文档转化为可交互的智能资源，显著提升研发效能。","\n# DevDocs by CyberAGI 🚀\n> [!WARNING]\n> 📌 **DevDocs Status**: Not publicly maintained. Enhanced internal version at CyberAGI — public release coming soon. If you have any questions please reach out to info@cyberagi.ai\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c5ce1f00c1ac.png\" alt=\"DevDocs Interface\" width=\"800\">\n\n\n  \u003Cp align=\"center\">\n    \u003Cstrong>Turn Weeks of Documentation Research into Hours of Productive Development\u003C\u002Fstrong>\n  \u003C\u002Fp>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"#-perfect-for\">Perfect For\u003C\u002Fa> •\n    \u003Ca href=\"#-features\">Features\u003C\u002Fa> •\n    \u003Ca href=\"#-why-devdocs\">Why DevDocs\u003C\u002Fa> •\n    \u003Ca href=\"#-getting-started\">Getting Started\u003C\u002Fa> •\n    \u003Ca href=\"#-scripts-and-their-purpose\">Scripts\u003C\u002Fa> •\n    \u003Ca href=\"#-pricing-comparison\">Compare to FireCrawl\u003C\u002Fa> •\n    \u003Ca href=\"#-join-our-community\">Discord\u003C\u002Fa> •\n    \u003Ca href=\"#-devdocs-roadmap\">DevDocs Roadmap\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 🚀 Technology Partners\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; gap: 30px; flex-wrap: wrap; padding: 20px 0;\">\n\n  \u003Cimg src=\"https:\u002F\u002Fcdn.brandfetch.io\u002FidmJWF3N06\u002Ftheme\u002Flight\u002Fsymbol.svg?c=1dxbfHSJFAPEGdCLU4o5B\" alt=\"Anthropic\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c7c116230104.png\" alt=\"OpenAI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_f329d9f7d9df.png\" alt=\"CyberAGI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Funclecode\u002Fcrawl4ai\u002Fmain\u002Fdocs\u002Fassets\u002Fpowered-by-disco.svg\" alt=\"Crawl4AI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n\n\u003C\u002Fdiv>\n\n## 🎯 Perfect For\n\n### 🏢 Enterprise Software Developers\nSkip weeks of reading documentation and dealing with technical debt. Implement ANY technology faster by letting DevDocs handle the heavy lifting of documentation understanding.\n\n### 🕸️ Web Scrapers\nPull entire contents of websites with Smart Discovery of Child URLs up to level 5. Perfect for both internal and external website documentation with intelligent crawling.\n\n### 👥 Development Teams\nLeverage internal documentation with built-in MCP servers and Claude integration for intelligent data querying. Transform your team's knowledge base into an actionable resource.\n\n### 🚀 Indie Hackers\nDevDocs + VSCode(cline) + Your Idea = Ship products fast with ANY technology. No more getting stuck in documentation hell when building your next big thing.\n\n## ✨ Features\n\n### 🧠 Intelligent Crawling\n- **Smart Depth Control**: Choose crawl depth from 1-5 levels\n- **Automatic Link Discovery**: Finds and categorizes all related content\n- **Selective Crawling**: Pick exactly what you want to extract\n- **Child URL Detection**: Automatically discovers and maps website structure\n\n### ⚡ Performance & Speed\n- **Parallel Processing**: Crawl multiple pages simultaneously\n- **Smart Caching**: Never waste time on duplicate content\n- **Lazy Loading Support**: Handles modern web apps effortlessly\n- **Rate Limiting**: Respectful crawling that won't overload servers\n\n### 🎯 Content Processing\n- **Clean Extraction**: Get content without the fluff\n- **Multiple Formats**: Export to MD or JSON for LLM fine-tuning\n- **Structured Output**: Logically organized content\n- **MCP Server Integration**: Ready for AI processing\n\n### 🛡️ Enterprise Features\n- **Error Recovery**: Auto-retry on failures\n- **Full Logging**: Track every operation\n- **API Access**: Integrate with your tools\n- **Team Management**: Multiple seats and roles\n\n## 🤔 Why DevDocs?\n\n### The Problem\nDocumentation is everywhere and LLMs are OUTDATED in their knowledge. Reading it, understanding it, and implementing it takes weeks of research and development even for senior engineers. **We cut down that time to hours.**\n\n### Our Solution\nDevDocs brings documentation to you. Point it at any tech documentation URL, and watch as it:\n1. Discovers all related pages to that technology\n2. Extracts meaningful content without the fluff\n3. Organizes information logically inside an MCP server ready for your LLM to query\n4. Presents it in a clean, searchable format in MD or JSON for finetuning LLM purpose\n\n🔥 We want anyone in the world to have the ability to build amazing products quickly using the most cutting edge LLM technology. \n\n## 💰 Pricing Comparison\n\n| Feature | DevDocs | Firecrawl |\n|---------|---------|-----------|\n| Free Tier | Unlimited pages | None |\n| Starting Price | Free Forever | $16\u002Fmonth |\n| Enterprise Plan | Custom | $333\u002Fmonth |\n| Crawl Speed | 1000\u002Fmin | 20\u002Fmin |\n| Depth Levels | Up to 5 | Limited |\n| Team Seats | Unlimited | 1-5 seats |\n| Export Formats | MD, JSON, LLM-ready MCP servers | Limited formats |\n| API Access | Coming Soon | Limited |\n| Model Context Protocol Integration | ✅ | ❌ |\n| Support | Priority Available via Discord | Standard only |\n| Self-hosted (free use) | ✅ | ❌ |\n\n## 🚀 Getting Started\n\nDevDocs is designed to be easy to use with Docker, requiring minimal setup for new users.\n\n### Prerequisites\n\n- [Docker](https:\u002F\u002Fdocs.docker.com\u002Fget-docker\u002F) installed on your system\n- Git for cloning the repository\n\n### Quick Start with Docker (Recommended)\n\nFor Mac\u002FLinux users:\n```bash\n# Clone the repository\ngit clone https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs.git\n\n# Navigate to the project directory\ncd DevDocs\n\n# Configure environment variables\n# Copy the template file to .env\ncp .env.template .env\n\n# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http:\u002F\u002Flocalhost:24125)\n# This allows the frontend (running in your browser) to communicate with the backend service.\n\n\n# Start all services using Docker\n.\u002Fdocker-start.sh\n```\n\nFor Windows users: Experimental Only (Not Tested Yet)\n```cmd\n# Clone the repository\ngit clone https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs.git\n\n# Navigate to the project directory\n\ncd DevDocs\n\n# Configure environment variables\n# Copy the template file to .env\n\ncopy .env.template .env\n\n# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http:\u002F\u002Flocalhost:24125)\n\n# This allows the frontend (running in your browser) to communicate with the backend service.\n\n# Prerequisites: Install WSL 2 and Docker Desktop\n# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.\n# 1. Install WSL 2: Follow the official Microsoft guide: https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fwindows\u002Fwsl\u002Finstall\n# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.\n\n\n\n# Start all services using Docker\ndocker-start.bat\n```\n\u003Cdetails>\n\u003Csummary>Note for Windows Users\u003C\u002Fsummary>\n\n> If you encounter permission issues, you may need to run the script as administrator or manually set permissions on the logs, storage, and crawl_results directories. The script uses the `icacls` command to set permissions, which might require elevated privileges on some Windows systems.\n>\n> **Manually Setting Permissions on Windows**:\n>\n> If you need to manually set permissions, you can do so using either the Windows GUI or command line:\n>\n> **Using Windows Explorer**:\n> 1. Right-click on each directory (logs, storage, crawl_results)\n> 2. Select \"Properties\"\n> 3. Go to the \"Security\" tab\n> 4. Click \"Edit\" to change permissions\n> 5. Click \"Add\" to add users\u002Fgroups\n> 6. Type \"Everyone\" and click \"Check Names\"\n> 7. Click \"OK\"\n> 8. Select \"Everyone\" in the list\n> 9. Check \"Full control\" under \"Allow\"\n> 10. Click \"Apply\" and \"OK\"\n>\n> **Using Command Prompt (as Administrator)**:\n> ```cmd\n> icacls logs \u002Fgrant Everyone:F \u002FT\n> icacls storage \u002Fgrant Everyone:F \u002FT\n> icacls crawl_results \u002Fgrant Everyone:F \u002FT\n> ```\n\u003C\u002Fdetails> \n\n\u003Cdetails>\n\u003Csummary>Note about docker-compose.yml on Windows\u003C\u002Fsummary>\n\n> If you encounter issues with the docker-compose.yml file (such as \"Top-level object must be a mapping\" error), the `docker-start.bat` script automatically fixes this by ensuring the file has the correct format and encoding. This fix is applied every time you run the script, so you don't need to manually modify the file.\n\u003C\u002Fdetails>\n\n\n\nThis single command will:\n1. Create all necessary directories\n2. Set appropriate permissions\n3. Build and start all Docker containers\n4. Monitor the services to ensure they're running properly\n\n### Accessing DevDocs\n\nOnce the services are running:\n- Frontend UI: http:\u002F\u002Flocalhost:3001\n- Backend API: http:\u002F\u002Flocalhost:24125\n- Crawl4AI Service: http:\u002F\u002Flocalhost:11235\n\n### Logs and Monitoring\n\nWhen using Docker, logs can be accessed :\n\n1. **Container Logs** (recommended for debugging):\n   ```bash\n   # View logs from a specific container\n   docker logs devdocs-frontend\n   docker logs devdocs-backend\n   docker logs devdocs-mcp\n   docker logs devdocs-crawl4ai\n   \n   # Follow logs in real-time\n   docker logs -f devdocs-backend\n   ```\n\nTo stop all services, press `Ctrl+C` in the terminal where docker-start is running.\n\n## 📜 Scripts and Their Purpose\n\nDevDocs includes various utility scripts to help with development, testing, and maintenance. Here's a quick reference:\n\n### Startup Scripts\n- `start.sh` \u002F `start.bat` \u002F `start.ps1` - Start all services (frontend, backend, MCP) for local development.\n- `docker-start.sh` \u002F `docker-start.bat` - Start all services using Docker containers.\n\n### MCP Server Scripts\n- `check_mcp_health.sh` - Verify the MCP server's health and configuration status.\n- `restart_and_test_mcp.sh` - Restart Docker containers with updated MCP configuration and test connectivity.\n\n### Crawl4AI Scripts\n- `check_crawl4ai.sh` - Check the status and health of the Crawl4AI service.\n- `debug_crawl4ai.sh` - Run Crawl4AI in debug mode with verbose logging for troubleshooting.\n- `test_crawl4ai.py` - Run tests against the Crawl4AI service to verify functionality.\n- `test_from_container.sh` - Test the Crawl4AI service from within a Docker container.\n\n### Utility Scripts\n- `view_result.sh` - Display crawl results in a formatted view.\n- `find_empty_folders.sh` - Identify empty directories in the project structure.\n- `analyze_empty_folders.sh` - Analyze empty folders and categorize them by risk level.\n- `verify_reorganization.sh` - Verify that code reorganization was successful.\n\nThese scripts are organized in the following directories:\n- Root directory: Main scripts for common operations\n- `scripts\u002Fgeneral\u002F`: General utility scripts\n- `scripts\u002Fdocker\u002F`: Docker-specific scripts\n- `scripts\u002Fmcp\u002F`: MCP server management scripts\n- `scripts\u002Ftest\u002F`: Testing and verification scripts\n\n## 🌍 Built for Developers, by Developers\n\nDevDocs is more than a tool—it's your documentation companion that:\n- **Saves Time**: Turn weeks of research into hours\n- **Improves Understanding**: Get clean, organized documentation\n- **Enables Innovation**: Build faster with any technology\n- **Supports Teams**: Share knowledge efficiently\n- **LLM READY**: Modern times require modern solutions, using devdocs with LLM is extremely easy and intuitive. With minimal configuration you can run Devdocs and Claude App and  recognizes DevDocs's MCP server ready to chat with your data. \n\n## 🛠️ Setting Up the Cline\u002FRoo Cline for Rapid software development.\n\n1. **Open the \"Modes\" Interface**  \n   - In **Roo Code**, click the **+** to create a new Mode-Specific Prompts.\n   \u003Cbr>\n   \n2. **Name**  \n   - Give the mode a **Name** (e.g., `Research_MCP`).  \n   \u003Cbr>\n3. **Role Definition Prompt**\n  \u003Cdetails>\n  \u003Csummary>Prompt\u003C\u002Fsummary>\n\n```\nExpertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.\n\nBehavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.\n```\n  \u003C\u002Fdetails>\n \u003Cbr>\n\n4. **Mode-Specific Custom Instructions Prompt**\n\u003Cdetails>\n\u003Csummary> Prompt \u003C\u002Fsummary>\n\n\n```\n1. Table Of Contents Tool: Returns a full or filtered list of documentation topics. \n2. Section Access Tool: Retrieves the detailed content of specific documentation sections.\n\nGeneral Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.\n\nDiscovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.\n\nDrill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.\n\nSynthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.\n\nError Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.\n\nMandatory Tool Usage: \nEnforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.\n\nSearch & Retrieve Workflow: \nInterpret and Isolate: Identify the key terms and data points from the user's query.\n\nIndex Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.\n\nTargeted Retrieval: For each promising section, use the Section Access tool to get complete content.\n\nInformation Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.\n\nFallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.\n\nCustom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.\n\nFinal Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.\n```\n\n\u003C\u002Fdetails>\n \u003Cbr>\n\n## 🤝 Join Our Community\n\n- 🌟 [Star us on GitHub](https:\u002F\u002Fgithub.com\u002Fcyberagi\u002Fdevdocs)\n- 👋🏽 [Reach out to our founder on Linkedin](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fshubhamkhichi\u002F)\n- 💬 [Join our Discord Community](https:\u002F\u002Fdiscord.gg\u002F2594NueRg8)\n\n## 🏆 Success Stories\n\n\"DevDocs turned our 3-week implementation timeline into 2 days. It's not just a crawler, it's a development accelerator.\" - *Senior Engineer at Fortune 100 Company*\n\n\"Launched my SaaS in half the time by using DevDocs to understand and implement new technologies quickly.\" - *Successful Indie Hacker*\n\n## 🛣️ DevDocs Roadmap\n\nThis roadmap outlines the upcoming enhancements and features planned for DevDocs, our advanced web crawling platform powered by Crawl4AI. Each item is designed to leverage Crawl4AI’s capabilities to their fullest, ensuring a robust, efficient, and user-friendly web crawling experience.\n\n⸻\n\n### 1. Enhanced Crawler Logic for Dynamic Content\n\n- Implement `wait_for_images=True` to ensure all images are fully loaded before extraction.\n- Set `scan_full_page=True` to force the crawler to scroll through the entire page, triggering lazy-loaded content.\n- Introduce `scroll_delay` to add delays between scroll steps, allowing content to load properly.\n- Incorporate `wait_for` parameters to wait for specific DOM elements indicative of content loading completion.\n\n---\n\n### 2. Hot Loading with Browser Pooling\n\n- Implement a pool of pre-warmed browser instances to avoid the overhead of launching a new browser for each task.\n- Utilize `use_persistent_context=True` to maintain session data across tasks, reducing the need for repeated logins and setups.\n\n---\n\n### 3. Revamped Docker Containers with Latest DevDocs Integration\n\n- Update Docker images to incorporate the latest DevDocs features and optimizations.\n- Include environment variables for API tokens (`CRAWL4AI_API_TOKEN`) to secure API endpoints.\n- Set appropriate memory limits and resource constraints to optimize performance.\n\n---\n\n### 4. Multi-OS Docker Instance Support\n\n- Create Docker images for different architectures (e.g., `x86_64`, `ARM`) to support a wide range of systems.\n- Implement CI\u002FCD pipelines to build and test images across multiple OS environments, ensuring compatibility and stability.\n\n---\n\n### 5. Memory-Adaptive Crawling\n\n- Integrate DevDocs’ `MemoryAdaptiveDispatcher` to dynamically adjust concurrency based on system memory availability.\n- Implement built-in rate limiting to prevent overwhelming target websites and avoid out-of-memory errors.\n\n---\n\n### 6. PDF Upload and Extraction in UI\n\n- Utilize DevDocs’ capability to export pages as PDFs (`pdf=True`) and extract content from them.\n- Develop frontend components to handle PDF uploads, display extracted content, and allow users to interact with the data.\n\n---\n\n### 7. Hosted Environment with Persistent Storage and Enhanced UX\n\n- Implement BYO-databases solutions to store data privately, crawl results, and configurations across sessions.\n- Design intuitive dashboards and interfaces for users to manage their crawls, view results, and configure settings.\n- Ensure responsive design and accessibility across various browsers.\n\n## Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c3a777c37257.png)](https:\u002F\u002Fstar-history.com\u002F#cyberagiinc\u002FDevDocs&Timeline)\n\n\u003Cp align=\"center\">Made with ❤️ by \u003Ca href=\"https:\u002F\u002Fwww.cyberagi.ai\">CyberAGI Inc\u003C\u002Fa> in 🇺🇸\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Csub>Make Software Development Better Again \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcyberagi\u002Fdevdocs\">Contribute to DevDocs\u003C\u002Fa>\u003C\u002Fsub>\n\u003C\u002Fp>\n\n","# DevDocs by CyberAGI 🚀\n> [!WARNING]\n> 📌 **DevDocs 状态**: 未公开维护。CyberAGI 拥有增强的内部版本——公共版本即将发布。如有任何问题，请联系 info@cyberagi.ai\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c5ce1f00c1ac.png\" alt=\"DevDocs 界面\" width=\"800\">\n\n\n  \u003Cp align=\"center\">\n    \u003Cstrong>将数周的文档研究转化为数小时的高效开发\u003C\u002Fstrong>\n  \u003C\u002Fp>\n\n  \u003Cp align=\"center\">\n    \u003Ca href=\"#-perfect-for\">适合人群\u003C\u002Fa> •\n    \u003Ca href=\"#-features\">功能\u003C\u002Fa> •\n    \u003Ca href=\"#-why-devdocs\">为什么选择 DevDocs\u003C\u002Fa> •\n    \u003Ca href=\"#-getting-started\">快速入门\u003C\u002Fa> •\n    \u003Ca href=\"#-scripts-and-their-purpose\">脚本及其用途\u003C\u002Fa> •\n    \u003Ca href=\"#-pricing-comparison\">与 FireCrawl 对比\u003C\u002Fa> •\n    \u003Ca href=\"#-join-our-community\">Discord 社区\u003C\u002Fa> •\n    \u003Ca href=\"#-devdocs-roadmap\">DevDocs 路线图\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fdiv>\n\n## 🚀 技术合作伙伴\n\n\u003Cdiv align=\"center\" style=\"display: flex; justify-content: center; align-items: center; gap: 30px; flex-wrap: wrap; padding: 20px 0;\">\n\n  \u003Cimg src=\"https:\u002F\u002Fcdn.brandfetch.io\u002FidmJWF3N06\u002Ftheme\u002Flight\u002Fsymbol.svg?c=1dxbfHSJFAPEGdCLU4o5B\" alt=\"Anthropic\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c7c116230104.png\" alt=\"OpenAI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_f329d9f7d9df.png\" alt=\"CyberAGI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n  \n  \u003Cimg src=\"https:\u002F\u002Fraw.githubusercontent.com\u002Funclecode\u002Fcrawl4ai\u002Fmain\u002Fdocs\u002Fassets\u002Fpowered-by-disco.svg\" alt=\"Crawl4AI\" style=\"height: 60px; max-width: 150px; object-fit: contain;\" \u002F>\n\n\u003C\u002Fdiv>\n\n## 🎯 适合人群\n\n### 🏢 企业软件开发者\n无需花费数周阅读文档和处理技术债务。让 DevDocs 承担繁重的文档理解工作，您可以更快地实现任何技术。\n\n### 🕸️ 网页爬虫开发者\n通过智能发现子 URL（最多 5 层），抓取整个网站内容。无论是内部还是外部网站文档，都能通过智能爬取完美应对。\n\n### 👥 开发团队\n利用内置的 MCP 服务器和 Claude 集成进行智能数据查询，充分利用内部文档。将团队的知识库转化为可操作的资源。\n\n### 🚀 独立开发者\nDevDocs + VSCode (命令行) + 您的想法 = 使用任何技术快速交付产品。在构建下一个大项目时，再也不用陷入文档的泥潭了。\n\n## ✨ 功能\n\n### 🧠 智能爬取\n- **智能深度控制**：可选择 1–5 层爬取深度\n- **自动链接发现**：查找并分类所有相关内容\n- **选择性爬取**：精准提取所需内容\n- **子 URL 检测**：自动发现并映射网站结构\n\n### ⚡ 性能与速度\n- **并行处理**：同时爬取多个页面\n- **智能缓存**：避免重复内容浪费时间\n- **懒加载支持**：轻松应对现代 Web 应用程序\n- **速率限制**：尊重目标服务器，不会造成过载\n\n### 🎯 内容处理\n- **纯净提取**：去除冗余信息\n- **多种格式**：导出为 MD 或 JSON 格式，便于 LLM 微调\n- **结构化输出**：逻辑清晰的内容组织\n- **MCP 服务器集成**：直接用于 AI 处理\n\n### 🛡️ 企业级特性\n- **错误恢复**：失败后自动重试\n- **完整日志记录**：追踪每一步操作\n- **API 访问**：可与您的工具集成\n- **团队管理**：支持多用户和角色权限\n\n## 🤔 为什么选择 DevDocs？\n\n### 存在的问题\n文档无处不在，而现有的 LLM 在知识更新方面严重滞后。即使是资深工程师，阅读、理解和实现这些文档也需要数周的时间。**我们将其缩短到几小时。**\n\n### 我们的解决方案\nDevDocs 将文档带到您面前。只需指向任何技术文档的 URL，它就会：\n1. 发现与该技术相关的所有页面\n2. 提取有意义的内容，去除冗余信息\n3. 将信息逻辑化整理，并存储在 MCP 服务器中，供您的 LLM 查询\n4. 以干净、可搜索的格式呈现，支持 MD 或 JSON 导出，方便 LLM 的微调\n\n🔥 我们希望全球任何人都能利用最先进的 LLM 技术，快速构建出色的产品。\n\n## 💰 定价对比\n\n| 特性         | DevDocs       | Firecrawl     |\n|--------------|---------------|---------------|\n| 免费层级     | 无限页面      | 无            |\n| 起始价格     | 永久免费      | $16\u002F月        |\n| 企业计划     | 自定义        | $333\u002F月       |\n| 爬取速度     | 1000\u002Fmin      | 20\u002Fmin        |\n| 深度级别     | 最高 5 层     | 有限          |\n| 团队席位     | 无限          | 1–5 席        |\n| 导出格式     | MD、JSON、LLM 兼容 MCP 服务器 | 格式有限      |\n| API 访问     | 即将推出      | 有限          |\n| 模型上下文协议集成 | ✅           | ❌            |\n| 支持         | Discord 优先支持 | 标准支持      |\n| 自托管（免费使用） | ✅           | ❌            |\n\n## 🚀 快速入门\n\nDevDocs 采用 Docker 部署，设计简单易用，新用户几乎无需复杂配置。\n\n### 前置条件\n\n- 已在系统上安装 [Docker](https:\u002F\u002Fdocs.docker.com\u002Fget-docker\u002F)\n- Git 用于克隆仓库\n\n### 使用 Docker 快速启动（推荐）\n\n适用于 Mac\u002FLinux 用户：\n```bash\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs.git\n\n# 进入项目目录\ncd DevDocs\n\n# 配置环境变量\n# 复制模板文件到 .env\ncp .env.template .env\n\n# 确保 .env 中的 NEXT_PUBLIC_BACKEND_URL 设置正确（例如 http:\u002F\u002Flocalhost:24125）\n# 这样前端（在浏览器中运行）才能与后端服务通信。\n\n\n# 使用 Docker 启动所有服务\n.\u002Fdocker-start.sh\n```\n\n适用于 Windows 用户：实验阶段（尚未测试）\n```cmd\n# 克隆仓库\ngit clone https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs.git\n\n# 进入项目目录\n\ncd DevDocs\n\n# 配置环境变量\n# 复制模板文件到 .env\n\ncopy .env.template .env\n\n# 确保 .env 中的 NEXT_PUBLIC_BACKEND_URL 设置正确（例如 http:\u002F\u002Flocalhost:24125）\n\n# 这样前端（在浏览器中运行）就能与后端服务通信。\n\n# 前置条件：安装 WSL 2 和 Docker Desktop\n# Docker Desktop for Windows 需要 WSL 2。请确保已先安装并运行 WSL 2。\n# 1. 安装 WSL 2：按照微软官方指南操作：https:\u002F\u002Flearn.microsoft.com\u002Fen-us\u002Fwindows\u002Fwsl\u002Finstall\n# 2. 安装 Docker Desktop for Windows：从 Docker 官网下载并安装。Docker Desktop 包含 Docker Compose。\n\n# 使用 Docker 启动所有服务\ndocker-start.bat\n```\n\u003Cdetails>\n\u003Csummary>Windows 用户注意事项\u003C\u002Fsummary>\n\n> 如果遇到权限问题，可能需要以管理员身份运行脚本，或者手动为 logs、storage 和 crawl_results 目录设置权限。脚本使用 `icacls` 命令来设置权限，在某些 Windows 系统上可能需要提升权限。\n\n> **在 Windows 上手动设置权限**：\n>\n> 如果需要手动设置权限，可以通过 Windows 图形界面或命令行完成：\n>\n> **使用 Windows 资源管理器**：\n> 1. 右键单击每个目录（logs、storage、crawl_results）\n> 2. 选择“属性”\n> 3. 切换到“安全”选项卡\n> 4. 单击“编辑”以更改权限\n> 5. 单击“添加”以添加用户\u002F组\n> 6. 输入“Everyone”，然后单击“检查名称”\n> 7. 单击“确定”\n> 8. 在列表中选中“Everyone”\n> 9. 在“允许”下勾选“完全控制”\n> 10. 单击“应用”并“确定”\n>\n> **使用命令提示符（以管理员身份）**：\n> ```cmd\n> icacls logs \u002Fgrant Everyone:F \u002FT\n> icacls storage \u002Fgrant Everyone:F \u002FT\n> icacls crawl_results \u002Fgrant Everyone:F \u002FT\n> ```\n\u003C\u002Fdetails> \n\n\u003Cdetails>\n\u003Csummary>关于 Windows 上 docker-compose.yml 的说明\u003C\u002Fsummary>\n\n> 如果您在使用 docker-compose.yml 文件时遇到问题（例如“顶级对象必须是映射”错误），`docker-start.bat` 脚本会自动修复该文件，确保其格式和编码正确。每次运行脚本时都会进行此修复，因此您无需手动修改文件。\n\u003C\u002Fdetails>\n\n\n\n此单一命令将：\n1. 创建所有必要的目录\n2. 设置适当的权限\n3. 构建并启动所有 Docker 容器\n4. 监控服务以确保其正常运行\n\n### 访问 DevDocs\n\n服务启动后：\n- 前端 UI：http:\u002F\u002Flocalhost:3001\n- 后端 API：http:\u002F\u002Flocalhost:24125\n- Crawl4AI 服务：http:\u002F\u002Flocalhost:11235\n\n### 日志与监控\n\n使用 Docker 时，日志可通过以下方式访问：\n\n1. **容器日志**（推荐用于调试）：\n   ```bash\n   # 查看特定容器的日志\n   docker logs devdocs-frontend\n   docker logs devdocs-backend\n   docker logs devdocs-mcp\n   docker logs devdocs-crawl4ai\n   \n   # 实时跟踪日志\n   docker logs -f devdocs-backend\n   ```\n\n要停止所有服务，请在运行 docker-start 的终端中按 `Ctrl+C`。\n\n## 📜 脚本及其用途\n\nDevDocs 包含多种实用脚本，用于开发、测试和维护工作。以下是快速参考：\n\n### 启动脚本\n- `start.sh` \u002F `start.bat` \u002F `start.ps1` - 启动所有服务（前端、后端、MCP），适用于本地开发。\n- `docker-start.sh` \u002F `docker-start.bat` - 使用 Docker 容器启动所有服务。\n\n### MCP 服务器脚本\n- `check_mcp_health.sh` - 验证 MCP 服务器的健康状况和配置状态。\n- `restart_and_test_mcp.sh` - 重启包含更新 MCP 配置的 Docker 容器，并测试连接性。\n\n### Crawl4AI 脚本\n- `check_crawl4ai.sh` - 检查 Crawl4AI 服务的状态和健康状况。\n- `debug_crawl4ai.sh` - 以详细日志模式运行 Crawl4AI，便于故障排除。\n- `test_crawl4ai.py` - 对 Crawl4AI 服务执行测试，验证其功能。\n- `test_from_container.sh` - 在 Docker 容器内测试 Crawl4AI 服务。\n\n### 通用脚本\n- `view_result.sh` - 以格式化方式显示爬取结果。\n- `find_empty_folders.sh` - 查找项目结构中的空目录。\n- `analyze_empty_folders.sh` - 分析空目录，并按风险等级分类。\n- `verify_reorganization.sh` - 验证代码重构是否成功。\n\n这些脚本组织在以下目录中：\n- 根目录：常用操作的主要脚本\n- `scripts\u002Fgeneral\u002F`：通用工具脚本\n- `scripts\u002Fdocker\u002F`：Docker 特定脚本\n- `scripts\u002Fmcp\u002F`：MCP 服务器管理脚本\n- `scripts\u002Ftest\u002F`：测试和验证脚本\n\n## 🌍 专为开发者打造，由开发者提供支持\n\nDevDocs 不仅仅是一个工具——它是您的文档伴侣，能够：\n- **节省时间**：将数周的研究缩短至数小时\n- **提升理解**：获取清晰、有序的文档\n- **促进创新**：借助任何技术更快地构建\n- **支持团队协作**：高效共享知识\n- **兼容 LLM**：现代需求需要现代化解决方案，将 Devdocs 与 LLM 结合使用极其简单直观。只需少量配置，即可同时运行 Devdocs 和 Claude 应用程序，后者会识别 Devdocs 的 MCP 服务器，随时准备基于您的数据进行对话。\n\n## 🛠️ 为 Rapid 软件开发设置 Cline\u002FRoo Cline。\n\n1. **打开“模式”界面**  \n   - 在 **Roo Code** 中，点击 **+** 创建一个新的模式特定提示。\n   \u003Cbr>\n   \n2. **命名**  \n   - 为该模式命名（例如：`Research_MCP`）。  \n   \u003Cbr>\n3. **角色定义提示**\n  \u003Cdetails>\n  \u003Csummary>提示\u003C\u002Fsummary>\n\n```\n专长与个性：专长：开发者文档检索、技术综合及文档搜索。个性：系统化、注重细节且精确。提供结构清晰的答案，并明确引用文档章节。\n  \n行为准则：在解答任何关于 MCP 文档的查询时，务必使用目录工具和章节访问工具。保持回答的清晰性、准确性和可追溯性。\n```\n  \u003C\u002Fdetails>\n \u003Cbr>\n\n4. **模式特定自定义指令提示**\n\u003Cdetails>\n\u003Csummary> 提示 \u003C\u002Fsummary>\n\n\n```\n1. 目录工具：返回完整或筛选后的文档主题列表。  \n2. 章节访问工具：获取特定文档章节的详细内容。\n\n通用流程：  \n查询解析：解析用户查询，提取关键主题、关键词和上下文。根据查询内容识别可能相关的部分（如 API 配置、错误处理等）。\n\n通过目录工具发现：使用目录工具在文档索引中搜索相关章节。根据标题和元数据中的匹配关键词进行筛选或扫描。\n\n利用章节访问工具深入查找：对于每个识别出的 relevant 文档或章节，使用章节访问工具获取其内容。如果需要多个部分的内容，则请求所有相关章节以确保覆盖全面。\n\n综合与答案生成：将检索到的内容整合成连贯完整的答案。引用章节标识符或文档路径以便追溯。验证是否已涵盖查询的所有方面。\n\n错误处理：若未找到匹配章节，调整搜索参数并重试。如果查询仍然模糊不清，或没有相关文档可用，则应明确告知用户。\n\n强制工具使用：  \n执行要求：每当收到需要从 MCP 服务器文档中获取信息的查询时，代理必须首先使用目录工具列出潜在的相关主题，然后使用章节访问工具获取必要的详细内容。\n\n搜索与检索工作流：  \n解读与提炼：从用户查询中识别关键术语和数据点。\n\n索引查询：立即使用目录工具获取相关文档章节列表。\n\n目标性检索：针对每个有希望的章节，使用章节访问工具获取完整内容。\n\n信息综合：合并检索到的内容，确保包含所有必要细节并清晰引用。\n\n回退与澄清：如果初步搜索结果不充分，可根据需要调整查询参数并检索更多章节。\n\n自定义指令加载：特定于 Research_MCP 模式的额外自定义指令可能会从工作区中的 .clinerules-research-mcp 文件中加载。这些指令可能包括基于不断变化的文档结构或查询类型的进一步优化或约束。\n  \n最终输出构建：最终答案应条理清晰，直接回应查询，并包含指向 MCP 文档的明确指针（如章节名称或标识符）。确保尽量减少冗余，同时涵盖所有必要细节。\n```\n\n\u003C\u002Fdetails>\n \u003Cbr>\n\n## 🤝 加入我们的社区\n\n- 🌟 [在 GitHub 上为我们点赞](https:\u002F\u002Fgithub.com\u002Fcyberagi\u002Fdevdocs)\n- 👋🏽 [在 LinkedIn 上联系我们的创始人](https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fshubhamkhichi\u002F)\n- 💬 [加入我们的 Discord 社区](https:\u002F\u002Fdiscord.gg\u002F2594NueRg8)\n\n## 🏆 成功案例\n\n“DevDocs 将我们原本需要三周的实施周期缩短到了两天。它不仅仅是一个爬虫，更是一款开发加速器。”——《财富》100 强企业高级工程师\n\n“借助 DevDocs 快速理解和实现新技术，我只用了原来一半的时间就上线了我的 SaaS 产品。”——成功的独立开发者\n\n## 🛣️ DevDocs 路线图\n\n本路线图概述了由 Crawl4AI 驱动的先进网页爬取平台 DevDocs 即将推出的增强功能和特性。每一项都旨在充分发挥 Crawl4AI 的能力，确保提供强大、高效且用户友好的网页爬取体验。\n\n⸻\n\n### 1. 针对动态内容的增强型爬虫逻辑\n\n- 实现 `wait_for_images=True`，确保所有图片完全加载后再进行提取。\n- 设置 `scan_full_page=True`，强制爬虫滚动整个页面，触发延迟加载的内容。\n- 引入 `scroll_delay` 参数，在每次滚动步骤之间添加延迟，使内容能够正常加载。\n- 添加 `wait_for` 参数，等待特定 DOM 元素表示内容加载已完成。\n\n---\n\n### 2. 浏览器池化的热加载\n\n- 实施预热浏览器实例池，避免为每个任务单独启动新浏览器带来的开销。\n- 使用 `use_persistent_context=True` 保持会话数据跨任务传递，减少重复登录和设置的需求。\n\n---\n\n### 3. 更新 Docker 容器并集成最新 DevDocs 功能\n\n- 更新 Docker 镜像，融入最新的 DevDocs 功能与优化。\n- 包含用于保护 API 端点的环境变量（`CRAWL4AI_API_TOKEN`）。\n- 设置适当的内存限制和资源约束，以优化性能。\n\n---\n\n### 4. 多操作系统 Docker 实例支持\n\n- 创建适用于不同架构（如 `x86_64`、`ARM`）的 Docker 镜像，以支持广泛的系统环境。\n- 实施 CI\u002FCD 流水线，在多种操作系统环境中构建并测试镜像，确保兼容性和稳定性。\n\n---\n\n### 5. 内存自适应爬取\n\n- 集成 DevDocs 的 `MemoryAdaptiveDispatcher`，根据系统内存可用情况动态调整并发度。\n- 实现内置速率限制，防止对目标网站造成过大压力，并避免内存不足错误。\n\n---\n\n### 6. UI 中的 PDF 上传与内容提取\n\n- 利用 DevDocs 将页面导出为 PDF 并从中提取内容的功能（`pdf=True`）。\n- 开发前端组件，用于处理 PDF 上传、显示提取内容，并允许用户与数据交互。\n\n---\n\n### 7. 托管环境：持久化存储与增强用户体验\n\n- 实施自带数据库解决方案，以私密方式存储数据、爬取结果和配置信息，实现跨会话保存。\n- 设计直观的仪表盘和界面，供用户管理爬取任务、查看结果并配置设置。\n- 确保设计响应迅速，并在各类浏览器中具备良好的可访问性。\n\n## 星标历史\n\n[![星标历史图表](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_readme_c3a777c37257.png)](https:\u002F\u002Fstar-history.com\u002F#cyberagiinc\u002FDevDocs&Timeline)\n\n\u003Cp align=\"center\">由 \u003Ca href=\"https:\u002F\u002Fwww.cyberagi.ai\">CyberAGI Inc\u003C\u002Fa> 在 🇺🇸 用 ❤️ 制作\u003C\u002Fp>\n\n\u003Cp align=\"center\">\n  \u003Csub>让软件开发再次变得更好 \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcyberagi\u002Fdevdocs\">贡献到 DevDocs\u003C\u002Fa>\u003C\u002Fsub>\n\u003C\u002Fp>","# DevDocs 快速上手指南\n\nDevDocs 是一款智能文档爬取与处理工具，能将数周的文档研究时间缩短至数小时。它支持深度爬取、内容清洗，并可将结果整理为 Markdown\u002FJSON 格式或直接接入 MCP 服务器供 LLM（如 Claude）调用。\n\n> **注意**：当前版本主要由 CyberAGI 内部维护，公共版本即将发布。本项目完全免费且支持自托管。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux \u002F macOS \u002F Windows (需 WSL 2)\n*   **核心依赖**：\n    *   [Docker](https:\u002F\u002Fdocs.docker.com\u002Fget-docker\u002F) (必须安装)\n    *   Git (用于克隆代码库)\n*   **网络环境**：由于项目托管在 GitHub，国内用户建议配置代理或使用加速镜像克隆仓库。\n\n## 安装步骤\n\n推荐使用 Docker 进行一键部署，这是最简便且隔离性最好的方式。\n\n### 1. 克隆项目\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs.git\ncd DevDocs\n```\n\n### 2. 配置环境变量\n\n复制环境变量模板文件：\n\n```bash\ncp .env.template .env\n```\n\n> **重要提示**：打开 `.env` 文件，确保 `NEXT_PUBLIC_BACKEND_URL` 设置为 `http:\u002F\u002Flocalhost:24125`，以保证前端能正常连接后端服务。\n\n### 3. 启动服务\n\n根据您的操作系统执行相应的启动脚本：\n\n**macOS \u002F Linux 用户：**\n\n```bash\n.\u002Fdocker-start.sh\n```\n\n**Windows 用户：**\n*前提：已安装 WSL 2 和 Docker Desktop。*\n\n```cmd\ndocker-start.bat\n```\n\n> **Windows 权限提示**：如果脚本报错提示权限不足，请以**管理员身份**运行命令行工具，或手动对 `logs`、`storage`、`crawl_results` 目录赋予完全控制权限。\n\n该脚本将自动完成以下操作：\n1. 创建必要的目录结构。\n2. 设置正确的文件权限。\n3. 构建并启动所有 Docker 容器（前端、后端、MCP、Crawl4AI）。\n4. 实时监控服务状态。\n\n## 基本使用\n\n### 1. 访问界面\n\n服务启动成功后，通过浏览器访问以下地址：\n\n*   **前端操作界面**：http:\u002F\u002Flocalhost:3001\n*   **后端 API**：http:\u002F\u002Flocalhost:24125\n*   **Crawl4AI 服务**：http:\u002F\u002Flocalhost:11235\n\n### 2. 快速爬取文档\n\n1.  打开前端界面 (http:\u002F\u002Flocalhost:3001)。\n2.  输入目标技术文档的 URL（例如某开源库的官方文档首页）。\n3.  设置爬取深度（支持 1-5 层，默认即可覆盖大部分文档结构）。\n4.  点击开始，系统将自动：\n    *   智能发现子页面链接。\n    *   去除广告和无关内容，提取纯净文本。\n    *   将结果保存为结构化数据。\n\n### 3. 查看结果与集成 LLM\n\n*   **查看文件**：爬取完成后，可在 `crawl_results` 目录或通过前端界面查看生成的 Markdown (`.md`) 或 JSON 文件。\n*   **对接 AI 助手 (Cline\u002FRoo Code)**：\n    DevDocs 内置了 MCP 服务器。配置好 Cline 或 Roo Code 后，添加 DevDocs 的 MCP 服务端点，即可让 AI 直接读取并检索您刚刚爬取的本地文档库，实现基于最新文档的智能问答。\n\n### 4. 服务监控与停止\n\n*   **查看日志**（排查问题用）：\n    ```bash\n    docker logs -f devdocs-backend\n    ```\n*   **停止服务**：\n    在运行启动脚本的终端中按下 `Ctrl+C` 即可停止所有容器。","某后端团队急需将遗留系统迁移至最新的 Rust Web 框架，但面对分散且更新频繁的官方文档，资深工程师也感到无从下手。\n\n### 没有 DevDocs 时\n- **信息检索低效**：开发者需手动在数十个文档页面间跳转，花费数天时间梳理架构概念和 API 细节，严重拖慢项目启动速度。\n- **知识断层风险**：依赖大模型自带的过时训练数据，生成的代码常因版本不匹配而报错，导致反复调试和返工。\n- **上下文割裂**：难以将分散的配置指南、最佳实践和错误处理逻辑整合成统一的知识库，团队协作时沟通成本极高。\n- **爬虫开发负担**：若尝试自建抓取工具，需额外编写复杂的去重、反爬和深度遍历逻辑，偏离了核心业务开发目标。\n\n### 使用 DevDocs 后\n- **一键全量获取**：只需输入文档网址，DevDocs 即可智能遍历并抓取多达 5 层深度的所有内容，将数周的调研工作压缩至几小时。\n- **实时精准赋能**：通过 MCP 服务器将最新文档直接接入 Cursor 或 Claude，AI 助手基于实时数据生成的代码准确可用，彻底消除版本幻觉。\n- **结构化知识沉淀**：自动清洗并输出为 Markdown 或 JSON 格式，将杂乱的网页内容转化为逻辑清晰的结构化数据，便于团队随时查询引用。\n- **零码集成体验**：无需编写任何爬虫脚本，内置的并发处理和缓存机制即可稳定运行，让团队专注于业务逻辑而非数据收集。\n\nDevDocs 通过将分散的技术文档转化为可被 AI 即时理解的私有知识库，真正实现了从“查阅文档”到“驱动开发”的效率飞跃。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcyberagiinc_DevDocs_c5ce1f00.png","cyberagiinc","CyberAGI Org","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fcyberagiinc_3ca64624.png","",null,"https:\u002F\u002Fwww.cyberagi.ai","https:\u002F\u002Fgithub.com\u002Fcyberagiinc",[82,86,90,94,98,101,105],{"name":83,"color":84,"percentage":85},"TypeScript","#3178c6",48.1,{"name":87,"color":88,"percentage":89},"Python","#3572A5",35.7,{"name":91,"color":92,"percentage":93},"Shell","#89e051",11.9,{"name":95,"color":96,"percentage":97},"Batchfile","#C1F12E",2.5,{"name":99,"color":100,"percentage":42},"PowerShell","#012456",{"name":102,"color":103,"percentage":104},"CSS","#663399",0.5,{"name":106,"color":107,"percentage":108},"JavaScript","#f1e05a",0.3,2059,186,"2026-04-10T22:36:57","Apache-2.0","Linux, macOS, Windows (实验性支持，需 WSL 2)","未说明",{"notes":116,"python":114,"dependencies":117},"该工具主要基于 Docker 容器化部署，无需手动配置 Python 环境或安装特定深度学习库。推荐使用 Docker Desktop 运行；Windows 用户必须安装 WSL 2 并可能需要在管理员权限下调整目录权限。核心功能依赖 Crawl4AI 服务进行爬虫操作，并支持通过 MCP 协议与 LLM（如 Claude）集成。",[118,119,120],"Docker","Git","Crawl4AI",[14,45,35],[123,124,125,126,127,128,129,130,131,132,133],"crawl4ai","documentation","llm","playwright","python3","scraper","security","typescript","cline","cursor","windsurf","2026-03-27T02:49:30.150509","2026-04-17T08:25:22.825051",[137,142,147,152,157,162],{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},37172,"如何将该项目打包为 Docker 容器以简化部署？","可以将整个服务器打包在单个 Docker 镜像中。关键点是 MCP 服务器容器需要与其余的 Compose 设置隔离，因为它需要由 MCP 客户端控制。由于 MCP 服务器设计为本地运行（以便与 Claude Desktop 和 Cline 交互），直接容器化可能面临挑战。建议策略是保持 MCP 服务器在本地运行，而将应用程序的其他部分放入 Docker；或者参考项目中的 `docker-strategy.md` 文件获取具体的 Docker 化策略。","https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs\u002Fissues\u002F9",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},37173,"前端显示“处理中”但数据不更新（发现页面数为 0）怎么办？","如果前端一直显示等待或零数据，但后端已生成文件，这通常是 MCP 服务的问题。请在运行 `.\u002Fdocker-start.sh` 启动服务后，执行健康检查脚本：`\u002Fscript\u002Fmcp\u002Fcheck_mcp_health.sh`。如果问题仍然存在，可能需要进一步排查后端查找新结果的逻辑。","https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs\u002Fissues\u002F34",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},37174,"遇到 'Module not found' 或 'storage.ts' 相关错误如何解决？","这是一个已知问题，原因是重构过程中 `storage.ts` 文件的路径被错误地添加到了 `.gitignore` 文件中，导致其他用户无法拉取该文件。解决方法是进行全新安装（fresh install），维护者已在主分支修复了此问题并恢复了该文件。","https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs\u002Fissues\u002F4",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},37175,"在 Windows 上运行 docker-start.bat 时遇到构建错误或格式问题怎么办？","这是由于 Mac 和 Windows 之间的文件格式差异导致的。临时解决方法是将 `config` 目录的内容复制到根目录（即 .bat 文件所在的位置）。维护者指出该问题已在社区中修复，确保 `docker-compose.yml` 已针对 Windows 兼容性进行了修正。","https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs\u002Fissues\u002F30",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},37176,"爬取大型文档（如 Odoo）时进程似乎卡住或运行极慢是否正常？","这是正常现象，进程并没有卡死，而是在正常工作。爬取大型文档库需要较长时间，建议耐心等待处理完成。如果设置了较小的深度（如 depth=1）仍然长时间无输出，请继续等待直到处理结束。","https:\u002F\u002Fgithub.com\u002Fcyberagiinc\u002FDevDocs\u002Fissues\u002F26",{"id":163,"question_zh":164,"answer_zh":165,"source_url":141},37177,"如何在 Docker 环境中正确运行 MCP 服务器？","MCP 服务器可以在 Docker 容器内运行，但需要使用正确的参数并正确处理信号以按需启动和停止容器。由于 MCP 服务器通常需要被客户端控制，建议将其容器与 docker-compose 中的其他服务网络隔离。如果在使用 Playwright 等工具时遇到问题（如在 Arch Linux 上），可能需要调整容器配置或使用特定的 fork 版本。",[]]