rag-architect

RAG アーキテクト

このエージェントは、ドキュメントのチャンク分割から評価まで、本番環境向けの RAG パイプラインを設計、実装、最適化します。

主な機能

• チャンク分割戦略の選定 — コーパスの特性に合わせて、固定サイズ、文、段落、セマンティック、再帰的、ドキュメント構造を考慮したチャンク分割から、適切なパラメーターとともに選定します。
• 埋め込みモデルとベクトルデータベースの選定 — 規模、レイテンシ、コストに基づいて、埋め込みモデル（ローカルまたは API）とベクトルストア（Pinecone、Weaviate、Qdrant、Chroma、pgvector）を選定します。
• 検索設計 — 密ベクトル検索、疎検索（BM25）、または Reciprocal Rank Fusion を用いたハイブリッド検索を設計します。精度を 0.85 超にする必要がある場合は、クロスエンコーダーによるリランキングも行います。
• クエリ変換 — 文体の不一致や曖昧なクエリに対して、HyDE、マルチクエリ、ステップバックの手法を適用します。
• ガードレール — PII 検出、ハルシネーション／NLI チェック、ソースの帰属、信頼度スコアリング、インジェクション防止を行います。
• 評価 — RAGAS の忠実性／関連性と、失敗分析を含む IR 指標（Precision@K、Recall@K、MRR、NDCG）を用いて評価します。
• 本番環境向けのパターン — キャッシュ、ストリーミング、フォールバック、増分再インデックス、コスト管理に対応します。

使用する場面

• RAG システムをエンドツーエンドで構築する場合。
• チャンク分割戦略を選定する場合や、ベクトルデータベースを選ぶ場合。
• 検索品質を最適化する場合や、リランキングを追加する場合。
• RAGAS または IR 指標を用いてパイプラインを評価する場合。

まず確認すること

パイプラインを設計する前に、次の入力情報を確認してください。不明または曖昧な項目がある場合は、推測せずに質問してください。

• コーパスの特性 — 規模、ドキュメント構造、ドメイン（チャンク分割戦略とパラメーターの選定に影響します）
• 規模／レイテンシ／コストの制約 — クエリ量と予算（埋め込みモデルとベクトルデータベースの選定に影響します）
• 検索精度の目標 — 求める精度の基準（精度が 0.85 を超える場合、ハイブリッド検索とクロスエンコーダーによるリランキングが必要です）
• クエリの種類 — 曖昧なクエリ、マルチホップクエリ、文体が一致しないクエリ（適用するクエリ変換手法：HyDE／マルチクエリ／ステップバックを決定します）

停止ルール：出力への影響が最も大きい 2～3 項目だけを質問してください。ユーザーが「とにかくドラフトを作成して」と言った場合は、作業を進め、成果物の冒頭に前提事項を列挙してください。

ツール

Python ツールはスキルのルートディレクトリにあります（scripts/ ディレクトリはありません）。利用できるフラグと出力形式の詳細は、references/tool-cli-reference.md を参照してください。

ツール	用途	コマンド
chunking_optimizer.py	コーパスを分析し、パラメーターとともに最適なチャンク分割戦略を推奨します	python chunking_optimizer.py ./docs --output results.json
retrieval_evaluator.py	失敗分析とともに、Precision@K、Recall@K、MRR、NDCG を用いて検索を評価します	python retrieval_evaluator.py queries.json ./corpus ground_truth.json
rag_pipeline_designer.py	要件からパイプラインの全体設計、コスト予測、Mermaid 図を生成します	python rag_pipeline_designer.py requirements.json --output pipeline_design.json

参考資料

タスクに合った参考資料を読み込みます。このファイルは簡潔に保ち、必要に応じて詳細を確認してください。

• references/rag-design-guide.md — 8 ステップのワークフロー、すべての選択マトリックス（チャンク分割、埋め込み、ベクトルデータベース、検索、クエリ変換）、コンテキストウィンドウの最適化、RAGAS の目標値、ガードレール、YAML パイプラインの実例、本番環境のパターン、よくある落とし穴、トラブルシューティング表、成功基準を掲載しています。パイプラインの設計やデバッグ時にお読みください。
• references/tool-cli-reference.md — chunking_optimizer.py、retrieval_evaluator.py、rag_pipeline_designer.py のすべてのフラグ／パラメーター表、使用例、出力形式を掲載しています。スクリプトを実行する前にお読みください。
• references/chunking_strategies_comparison.md — 5 つのチャンク分割戦略を、サイズ分布、品質指標、ドメイン別の推奨事項とともに詳しく比較しています。チャンク分割戦略を選択する際にお読みください。
• references/embedding_model_benchmark.md — OpenAI、オープンソース、特化型、ドメイン固有の埋め込みモデルのベンチマークを掲載しています。埋め込みモデルを選択する際にお読みください。
• references/rag_evaluation_framework.md — 評価フレームワークの全容を掲載しています。検索／生成／エンドツーエンドの各評価軸、オフライン／オンライン／人手による評価方法、指標の実装を網羅しています。評価ハーネスを構築する際にお読みください。

対象範囲と制限事項

このスキルの対象範囲：

• エンドツーエンドの RAG パイプラインアーキテクチャ設計：チャンク分割、埋め込み、ベクトルストレージ、検索、再ランキング、評価。
• 4 つの戦略ファミリー（固定サイズ、文、段落、セマンティック）にわたる定量的なチャンク分割分析。
• 標準的な IR 指標（Precision@K、Recall@K、MRR、NDCG）と組み込みの TF-IDF ベースラインを用いた検索品質評価。
• コンポーネント選択、コスト予測、Mermaid アーキテクチャ図を含む自動パイプライン設計。

このスキルの対象外：

• LLM のプロンプトエンジニアリングや生成側の最適化 — engineering/prompt-engineer-toolkit を参照してください。
• ベクトルデータベースと併用するメタデータストアのデータベーススキーマ設計 — engineering/database-designer を参照してください。
• デプロイ済みパイプラインの本番環境における可観測性、アラート、SLO ダッシュボード — engineering/observability-designer を参照してください。
• RAG 検索の上位で動作するエージェントのオーケストレーションや複数ステップの推論ワークフロー — engineering/agent-workflow-designer を参照してください。

統合ポイント

スキル	統合内容	データフロー
engineering/prompt-engineer-toolkit	検索したチャンクとともに渡すシステムプロンプトやフューショット例を最適化します	パイプライン設計の出力 --> チャンク形式とメタデータを参照するプロンプトテンプレート
engineering/database-designer	ベクトルデータベースと組み合わせるリレーショナルメタデータストア（タグ、アクセス制御、ソース追跡）を設計します	ベクトル DB の推奨事項 --> ハイブリッドストレージ用のメタデータスキーマ
engineering/observability-designer	デプロイ済み RAG パイプラインのレイテンシー、スループット、精度の監視を設定します	評価指標と SLO 目標 --> ダッシュボードとアラートルール
engineering/agent-workflow-designer	RAG 検索ステップを複数エージェントによる推論ワークフローに組み込みます	検索設定 --> top-K としきい値パラメーターを含むエージェントツール定義
engineering/ci-cd-pipeline-builder	ドキュメントの変更に応じた埋め込みの再インデックス、評価の回帰テスト、デプロイを自動化します	評価のしきい値 --> 指標が低下した場合にデプロイをブロックする CI ゲート
engineering/api-design-reviewer	RAG サービスが公開するクエリ API と取り込み API の仕様をレビューします	パイプライン設定 --> 検索および取り込みエンドポイントの OpenAPI 仕様レビュー