DevDocs by CyberAGI 🚀

CyberAGI の DevDocs 🚀

警告

📌 DevDocs のステータス：公開でのメンテナンスは行っていません。CyberAGI では強化版を社内で提供しており、近日中に公開予定です。ご質問がある場合は、[email protected] までお問い合わせください。

数週間かかるドキュメント調査を、実りある開発の数時間に短縮

最適な対象 • 機能 • DevDocs を選ぶ理由 • はじめに • スクリプト • FireCrawl との比較 • Discord • DevDocs のロードマップ

🚀 テクノロジーパートナー

🎯 最適な対象

🏢 エンタープライズソフトウェア開発者

ドキュメントを読むことや技術的負債への対処に費やす数週間を省けます。ドキュメントの理解という面倒な作業を DevDocs に任せて、あらゆるテクノロジーをより速く導入できます。

🕸️ ウェブスクレイパー

最大レベル 5 までの子 URL のスマートな検出機能を使って、ウェブサイトのコンテンツ全体を取得できます。インテリジェントなクロールにより、社内外のウェブサイトのドキュメントに最適です。

👥 開発チーム

組み込みの MCP サーバーと Claude との連携を利用して、社内ドキュメントに対するインテリジェントなデータ検索を実現できます。チームのナレッジベースを実用的なリソースに変えましょう。

🚀 インディーハッカー

DevDocs + VSCode(cline) + アイデア = あらゆるテクノロジーで製品をすばやくリリース。次の大きなプロジェクトの開発中に、ドキュメントの迷宮で行き詰まることはありません。

✨ 機能

🧠 インテリジェントなクロール

• 深度のスマート制御：クロールの深度を 1～5 レベルから選択
• リンクの自動検出：関連コンテンツをすべて検出して分類
• 選択的クロール：抽出するコンテンツを正確に選択
• 子 URL の検出：ウェブサイトの構造を自動で検出してマッピング

⚡ パフォーマンスと速度

• 並列処理：複数のページを同時にクロール
• スマートキャッシュ：重複コンテンツに時間を浪費しません
• 遅延読み込みに対応：最新のウェブアプリを簡単に処理
• レート制限：サーバーに過度な負荷をかけない、配慮あるクロール

🎯 コンテンツ処理

• クリーンな抽出：余計なものを含まないコンテンツを取得
• 複数の形式：LLM のファインチューニング用に MD または JSON 形式でエクスポート
• 構造化された出力：論理的に整理されたコンテンツ
• MCP サーバー連携：AI 処理にすぐに利用可能

🛡️ エンタープライズ機能

• エラー復旧：失敗時に自動で再試行
• 詳細なログ記録：すべての操作を追跡
• API アクセス：お使いのツールと連携
• チーム管理：複数のユーザー枠とロールに対応

🤔 DevDocs を選ぶ理由

課題

ドキュメントはあらゆる場所にあり、LLM の知識は古くなっています。ドキュメントを読み、理解し、実装するには、経験豊富なエンジニアでも数週間の調査と開発が必要です。私たちはその時間を数時間に短縮します。

私たちのソリューション

DevDocs は、ドキュメントをあなたのもとへ届けます。あらゆる技術ドキュメントの URL を指定すると、次の処理を実行します。

1. その技術に関連するすべてのページを検出します
2. 余計な情報を省き、有益なコンテンツを抽出します
3. LLM がすぐに検索できる MCP サーバー内に、情報を論理的に整理します
4. LLM のファインチューニング用に、MD または JSON 形式で見やすく検索可能なデータを提供します

🔥 誰もが世界中の最先端の LLM 技術を使って、素晴らしい製品をすばやく構築できるようにしたいと考えています。

💰 料金の比較

🚀 はじめに

DevDocs は Docker で簡単に使えるよう設計されており、初めて使う方でもセットアップは最小限で済みます。

前提条件

• システムに Docker がインストールされていること
• リポジトリのクローン用の Git

Docker でクイックスタート（推奨）

Mac/Linux ユーザーの場合：

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory
cd DevDocs

# Configure environment variables
# Copy the template file to .env
cp .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)
# This allows the frontend (running in your browser) to communicate with the backend service.


# Start all services using Docker
./docker-start.sh

Windows ユーザーの場合：実験的機能のみ（未テスト）

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory

cd DevDocs

# Configure environment variables
# Copy the template file to .env

copy .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)

# This allows the frontend (running in your browser) to communicate with the backend service.

# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.



# Start all services using Docker
docker-start.bat

このコマンドを実行すると、次の処理が行われます。

1. 必要なすべてのディレクトリを作成します
2. 適切な権限を設定します
3. すべての Docker コンテナをビルドして起動します
4. サービスが正常に動作していることを確認するため、監視します

DevDocs へのアクセス

サービスの起動後、次の URL にアクセスできます。

• フロントエンド UI： http://localhost:3001
• バックエンド API： http://localhost:24125
• Crawl4AI サービス： http://localhost:11235

ログとモニタリング

Docker を使用する場合、ログには次の方法でアクセスできます。

1. コンテナログ（デバッグに推奨）：

   # View logs from a specific container
   docker logs devdocs-frontend
   docker logs devdocs-backend
   docker logs devdocs-mcp
   docker logs devdocs-crawl4ai
   
   # Follow logs in real-time
   docker logs -f devdocs-backend
   

すべてのサービスを停止するには、docker-start を実行しているターミナルで Ctrl+C を押します。

📜 スクリプトとその用途

DevDocs には、開発、テスト、メンテナンスに役立つさまざまなユーティリティスクリプトが含まれています。簡単な一覧を以下に示します。

起動スクリプト

• start.sh / start.bat / start.ps1 - ローカル開発用にすべてのサービス（フロントエンド、バックエンド、MCP）を起動します。
• docker-start.sh / docker-start.bat - Docker コンテナを使ってすべてのサービスを起動します。

MCP サーバースクリプト

• check_mcp_health.sh - MCP サーバーのヘルスと構成ステータスを検証します。
• restart_and_test_mcp.sh - 更新された MCP 構成で Docker コンテナを再起動し、接続をテストします。

Crawl4AI スクリプト

• check_crawl4ai.sh - Crawl4AI サービスのステータスとヘルスを確認します。
• debug_crawl4ai.sh - トラブルシューティングのために、詳細なログ出力を有効にしてデバッグモードで Crawl4AI を実行します。
• test_crawl4ai.py - Crawl4AI サービスに対してテストを実行し、機能を検証します。
• test_from_container.sh - Docker コンテナ内から Crawl4AI サービスをテストします。

ユーティリティスクリプト

• view_result.sh - クロール結果を整形されたビューで表示します。
• find_empty_folders.sh - プロジェクト構造内の空のディレクトリを特定します。
• analyze_empty_folders.sh - 空のフォルダーを分析し、リスクレベルごとに分類します。
• verify_reorganization.sh - コードの再編成が成功したことを検証します。

これらのスクリプトは、以下のディレクトリに整理されています。

• ルートディレクトリ: 一般的な操作用の主要スクリプト
• scripts/general/: 汎用ユーティリティスクリプト
• scripts/docker/: Docker 固有のスクリプト
• scripts/mcp/: MCP サーバー管理スクリプト
• scripts/test/: テストおよび検証スクリプト

🌍 開発者によって、開発者のために作られました

DevDocs は単なるツールではありません。それはあなたのドキュメントコンパニオンです。

• 時間を節約: 数週間の調査を数時間に短縮します
• 理解を深める: クリーンで整理されたドキュメントを入手できます
• イノベーションを可能にする: あらゆるテクノロジーでより迅速に構築できます
• チームをサポート: ナレッジを効率的に共有できます
• LLM READY: 現代には現代的なソリューションが必要です。DevDocs を LLM と共に使うのは非常に簡単で直感的です。最小限の構成で DevDocs と Claude App を実行でき、DevDocs の MCP サーバーを認識して、すぐにあなたのデータとチャットできます。

🛠️ 迅速なソフトウェア開発のための Cline/Roo Cline の設定。

1. 「Modes」インターフェースを開く

   • Roo Code で、+ をクリックして新しいモード固有のプロンプトを作成します。
     

2. 名前

   • モードに名前を付けます（例: Research_MCP）。
     

3. 役割定義プロンプト

Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.

Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.

4. モード固有のカスタム指示プロンプト

1. Table Of Contents Tool: Returns a full or filtered list of documentation topics. 
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.

General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.

Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.

Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.

Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.

Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.

Mandatory Tool Usage: 
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.

Search & Retrieve Workflow: 
Interpret and Isolate: Identify the key terms and data points from the user's query.

Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.

Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.

Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.

Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.

Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.

Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.

🤝 コミュニティに参加しましょう

• 🌟 GitHub でスターを付ける
• 👋🏽 Linkedin で創業者に連絡する
• 💬 Discord コミュニティに参加する

🏆 成功事例

「DevDocs は、当社の 3 週間の実装タイムラインを 2 日間に変えました。これは単なるクローラーではなく、開発アクセラレーターです。」 - Fortune 100 企業のシニアエンジニア

「DevDocs を使って新しいテクノロジーを迅速に理解し実装することで、SaaS を半分の時間でローンチできました。」 - 成功したインディーハッカー

🛣️ DevDocs ロードマップ

このロードマップは、Crawl4AI を活用した当社の高度な Web クローリングプラットフォームである DevDocs に計画されている今後の強化と機能の概要を示しています。各項目は、Crawl4AI の機能を最大限に活用し、堅牢で効率的、かつユーザーフレンドリーな Web クローリング体験を実現するように設計されています。

⸻

1. 動的コンテンツ向けの強化されたクローラーロジック

• wait_for_images=True を実装して、抽出前にすべての画像が完全に読み込まれるようにします。
• scan_full_page=True を設定して、クローラーにページ全体をスクロールさせ、遅延読み込みコンテンツをトリガーします。
• scroll_delay を導入してスクロールステップ間に遅延を追加し、コンテンツが適切に読み込まれるようにします。
• wait_for パラメータを取り入れて、コンテンツの読み込み完了を示す特定の DOM 要素を待機します。

2. ブラウザープーリングによるホットローディング

• 事前にウォームアップされたブラウザーインスタンスのプールを実装し、タスクごとに新しいブラウザーを起動するオーバーヘッドを回避します。
• use_persistent_context=True を利用してタスク間でセッションデータを維持し、繰り返しのログインやセットアップの必要性を減らします。

3. 最新のDevDocs統合によるDockerコンテナの刷新

• 最新のDevDocsの機能と最適化を取り入れるようにDockerイメージを更新します。
• APIエンドポイントを保護するため、APIトークン用の環境変数（CRAWL4AI_API_TOKEN）を追加します。
• パフォーマンスを最適化するため、適切なメモリ上限とリソース制約を設定します。

4. 複数OSのDockerインスタンスをサポート

• 幅広いシステムに対応するため、さまざまなアーキテクチャ（例：x86_64、ARM）向けのDockerイメージを作成します。
• 複数のOS環境でイメージをビルドおよびテストするCI/CDパイプラインを実装し、互換性と安定性を確保します。

5. メモリ適応型クロール

• DevDocsのMemoryAdaptiveDispatcherを統合し、システムのメモリ使用可能量に応じて同時実行数を動的に調整します。
• 対象のウェブサイトに過剰な負荷をかけず、メモリ不足エラーを防ぐため、組み込みのレート制限を実装します。

6. UIでのPDFアップロードと抽出

• DevDocsのページをPDFとしてエクスポートする機能（pdf=True）を活用し、そこからコンテンツを抽出します。
• PDFのアップロードや抽出したコンテンツの表示に対応し、ユーザーがデータを操作できるフロントエンドコンポーネントを開発します。

7. 永続ストレージと優れたUXを備えたホスト環境

• BYOデータベース方式を実装し、セッションをまたいでデータ、クロール結果、設定をプライベートに保存します。
• ユーザーがクロールを管理し、結果を確認して設定を構成できる、直感的なダッシュボードとインターフェースを設計します。
• さまざまなブラウザーでレスポンシブデザインとアクセシビリティを確保します。

スター履歴

🇺🇸でCyberAGI Incが❤️を込めて制作

_{ソフトウェア開発をもっと良くしよう DevDocsに貢献する}