DevDocs by CyberAGI 🚀

CyberAGI 的 DevDocs 🚀

警告

📌 DevDocs 状态：目前未公开维护。CyberAGI 内部增强版现已推出——公开版本即将发布。如有任何问题，请联系 [email protected]

将数周的文档调研缩短为数小时的高效开发

适用对象 • 功能 • 为什么选择 DevDocs • 快速开始 • 脚本 • 与 FireCrawl 对比 • Discord • DevDocs 路线图

🚀 技术合作伙伴

🎯 适用对象

🏢 企业软件开发者

无需再花数周阅读文档、处理技术债务。让 DevDocs 承担繁重的文档理解工作，更快地实现任何技术。

🕸️ 网页抓取人员

通过智能发现子 URL，抓取整个网站的内容，深度最高可达 5 级。无论是内部还是外部网站文档，都能通过智能爬取轻松处理。

👥 开发团队

借助内置的 MCP 服务和 Claude 集成，利用内部文档进行智能数据查询。将团队的知识库转化为可执行的资源。

🚀 独立开发者

DevDocs + VSCode(cline) + 你的创意 = 使用任何技术快速交付产品。打造下一个重要项目时，不再困于文档泥潭。

✨ 功能

🧠 智能爬取

• 智能深度控制：选择 1-5 级爬取深度
• 自动发现链接：查找并分类所有相关内容
• 选择性爬取：精确选择要提取的内容
• 子 URL 检测：自动发现并映射网站结构

⚡ 性能与速度

• 并行处理：同时爬取多个页面
• 智能缓存：不再浪费时间处理重复内容
• 支持延迟加载：轻松处理现代 Web 应用
• 速率限制：礼貌地爬取，不会让服务器负载过重

🎯 内容处理

• 干净提取：获取内容，不带冗余信息
• 多种格式：导出为 MD 或 JSON，用于大模型微调
• 结构化输出：按逻辑整理内容
• MCP 服务集成：可直接用于 AI 处理

🛡️ 企业功能

• 错误恢复：失败时自动重试
• 完整日志：跟踪每项操作
• API 访问：与现有工具集成
• 团队管理：支持多个席位和角色

🤔 为什么选择 DevDocs？

问题所在

文档无处不在，而大模型的知识已经过时。即使是资深工程师，阅读、理解并实现相关内容，也需要数周的调研和开发。我们能将这段时间缩短到数小时。

我们的解决方案

DevDocs 将文档带到你面前。输入任何技术文档 URL，即可查看它如何：

1. 发现与该技术相关的所有页面
2. 提取有价值的内容，去除冗余信息
3. 在 MCP 服务中以合理的逻辑组织信息，供你的大模型查询
4. 以清晰、可搜索的 MD 或 JSON 格式呈现，供大模型微调用途

🔥 我们希望世界上的每个人都能利用最前沿的大模型技术，快速打造出色的产品。

💰 价格对比

🚀 开始使用

DevDocs 旨在通过 Docker 轻松使用，新用户只需进行最少的设置。

前置条件

• 系统中已安装 Docker
• 用于克隆仓库的 Git

使用 Docker 快速开始（推荐）

Mac/Linux 用户：

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory
cd DevDocs

# Configure environment variables
# Copy the template file to .env
cp .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.


# Start all services using Docker
./docker-start.sh

Windows 用户：仅供实验（尚未测试）

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory

cd DevDocs

# Configure environment variables
# Copy the template file to .env

copy .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)

# This allows the frontend (running in your browser) to communicate with the backend service.

# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.



# Start all services using Docker
docker-start.bat

此单条命令将：

1. 创建所有必需的目录
2. 设置适当的权限
3. 构建并启动所有 Docker 容器
4. 监控服务，确保其正常运行

访问 DevDocs

服务运行后：

• 前端界面：http://localhost:3001
• 后端 API：http://localhost:24125
• Crawl4AI 服务：http://localhost:11235

日志和监控

使用 Docker 时，可访问日志：

1. 容器日志（推荐用于调试）：

   # View logs from a specific container
   docker logs devdocs-frontend
   docker logs devdocs-backend
   docker logs devdocs-mcp
   docker logs devdocs-crawl4ai
   
   # Follow logs in real-time
   docker logs -f devdocs-backend
   

要停止所有服务，请在运行 docker-start 的终端中按 Ctrl+C。

📜 脚本及其用途

DevDocs 包含各种实用脚本，可帮助进行开发、测试和维护。以下是快速参考：

启动脚本

• start.sh / start.bat / start.ps1 - 启动所有服务（前端、后端、MCP），用于本地开发。
• docker-start.sh / docker-start.bat - 使用 Docker 容器启动所有服务。

MCP 服务脚本

• check_mcp_health.sh - 检查 MCP 服务的健康状况和配置状态。
• restart_and_test_mcp.sh - 使用更新后的 MCP 配置重启 Docker 容器并测试连接。

Crawl4AI 脚本

• check_crawl4ai.sh - 检查 Crawl4AI 服务的状态和健康状况。
• debug_crawl4ai.sh - 在调试模式下运行 Crawl4AI，并启用详细日志以便排查问题。
• test_crawl4ai.py - 对 Crawl4AI 服务运行测试，以验证其功能。
• test_from_container.sh - 在 Docker 容器内测试 Crawl4AI 服务。

实用脚本

• view_result.sh - 以格式化视图显示爬取结果。
• find_empty_folders.sh - 找出项目结构中的空目录。
• analyze_empty_folders.sh - 分析空文件夹并按风险级别分类。
• verify_reorganization.sh - 验证代码重组是否成功。

这些脚本按以下目录组织：

• 根目录：用于常见操作的主要脚本
• scripts/general/：通用实用脚本
• scripts/docker/：Docker 专用脚本
• scripts/mcp/：MCP 服务管理脚本
• scripts/test/：测试和验证脚本

🌍 由开发者打造，服务开发者

DevDocs 不只是一个工具，更是你的文档助手，能够：

• 节省时间：将数周的研究缩短为数小时
• 加深理解：获取清晰、有条理的文档
• 助力创新：借助任何技术更快构建
• 支持团队：高效共享知识
• 支持大模型：新时代需要新方案。将 devdocs 与大模型搭配使用非常简单直观。只需进行少量配置，即可运行 Devdocs 和 Claude App，并让其识别已就绪的 DevDocs MCP 服务，从而使用你的数据进行对话。

🛠️ 设置 Cline/Roo Cline，以加快软件开发

1. 打开“Modes”界面

   • 在 Roo Code 中，点击 + 创建新的专属模式提示词。
     

2. 命名

   • 为模式指定一个 名称（例如，Research_MCP）。
     

3. 角色定义提示词

Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.

Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.

4. 模式专属自定义指令提示词

1. Table Of Contents Tool: Returns a full or filtered list of documentation topics. 
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.

General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.

Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.

Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.

Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.

Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.

Mandatory Tool Usage: 
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.

Search & Retrieve Workflow: 
Interpret and Isolate: Identify the key terms and data points from the user's query.

Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.

Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.

Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.

Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.

Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.

Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.

🤝 加入我们的社区

• 🌟 在 GitHub 上为我们点亮星标
• 👋🏽 在 Linkedin 上联系我们的创始人
• 💬 加入我们的 Discord 社区

🏆 成功案例

“DevDocs 将我们 3 周的实施周期缩短到了 2 天。它不只是一个爬虫，更是开发加速器。” - 《财富》100 强企业的高级工程师

“借助 DevDocs 快速了解并实施新技术，我仅用一半时间就推出了自己的 SaaS。” - 成功的独立开发者

🛣️ DevDocs 路线图

本路线图概述了 DevDocs 计划推出的增强功能和特性。DevDocs 是一个由 Crawl4AI 驱动的高级网页爬取平台。每项计划都旨在充分发挥 Crawl4AI 的能力，确保提供稳健、高效且易于使用的网页爬取体验。

⸻

1. 增强动态内容的爬虫逻辑

• 实现 wait_for_images=True，确保在提取前所有图像都已完全加载。
• 设置 scan_full_page=True，强制爬虫滚动浏览整个页面，以触发延迟加载的内容。
• 引入 scroll_delay，在滚动步骤之间增加延迟，让内容能够正确加载。
• 加入 wait_for 参数，等待表示内容加载完成的特定 DOM 元素。

2. 使用浏览器池实现热加载

• 创建预热浏览器实例池，避免每项任务都启动新浏览器所产生的开销。
• 使用 use_persistent_context=True，在不同任务间保留会话数据，减少重复登录和设置的需要。

3. 集成最新 DevDocs 的全新 Docker 容器

• 更新 Docker 镜像，集成最新的 DevDocs 功能和优化。
• 添加 API 令牌环境变量（CRAWL4AI_API_TOKEN），以保护 API 端点。
• 设置适当的内存限制和资源约束，以优化性能。

4. 支持多操作系统的 Docker 实例

• 为不同架构（例如，x86_64、ARM）创建 Docker 镜像，以支持多种系统。
• 实施 CI/CD 流水线，在多个操作系统环境中构建和测试镜像，确保兼容性和稳定性。

5. 自适应内存的爬取

• 集成 DevDocs 的 MemoryAdaptiveDispatcher，根据系统可用内存动态调整并发量。
• 实施内置速率限制，避免给目标网站造成过大负担，并防止出现内存不足错误。

6. 在 UI 中上传和提取 PDF

• 利用 DevDocs 将页面导出为 PDF（pdf=True）并从中提取内容的功能。
• 开发前端组件，用于处理 PDF 上传、显示提取的内容，并允许用户与数据交互。

7. 配备持久化存储和增强用户体验的托管环境

• 实施 BYO-databases 解决方案，在不同会话中私密存储数据、爬取结果和配置。
• 设计直观的仪表盘和界面，供用户管理爬取任务、查看结果和配置设置。
• 确保在各种浏览器中均能实现响应式设计和无障碍访问。

Star 历史

由 CyberAGI Inc 在 🇺🇸 倾情打造 ❤️

_{让软件开发再次变得更好 为 DevDocs 做出贡献}