Agentic Observability MCP

agentic-observability-mcp

MCP 向けの AI エージェント可観測性ツールです。トレース、コスト追跡、パフォーマンス監視、異常検出、監査証跡を、すべて Model Context Protocol 経由で利用できます。

このツールが必要な理由

AI エージェントはトークンを消費し、ツールを呼び出し、判断を下し、ときにはループから抜け出せなくなります。エージェントが何をしているのか、どのくらいのコストがかかっているのか、問題が起きたときに何が起きたのかを把握する必要があります。エージェントの可観測性を統合して提供する MCP サーバーは、これまで存在しませんでした。このツールはそれを実現します。

すべての LLM 呼び出し、ツール呼び出し、判断を記録し、コストを自動計算して異常を検出します。

機能

トレース

• trace_agent_action — ツール呼び出し、LLM リクエスト、判断、エラーなど、あらゆるエージェントアクションをメタデータとタイムスタンプ付きで記録します

コスト追跡

• track_token_usage — 組み込みの料金表（Claude、GPT、Gemini、Mistral）に基づいてコストを自動計算しながら、LLM 呼び出しごとのトークン使用量を追跡します
• get_cost_report — セッション全体のコスト内訳を集計し、モデル、プロバイダー、ツール、セッション別に分類します

パフォーマンス監視

• log_tool_call — MCP ツールの呼び出しを、レイテンシ、成功・失敗、エラーの詳細とともに記録します
• get_session_summary — コスト、トークン数、ツール統計、エラー数、モデル別内訳、実行時間を含むセッション全体のレポートを作成します

異常検出

• detect_anomaly — 次のような異常なパターンを検出します。
  • cost_spike — セッションまたは単一の呼び出しのコストがしきい値を超過
  • error_rate — ツールの失敗率が 30％を超過
  • latency_spike — ツール呼び出しが 10 秒を超過
  • loop_detection — 同じパラメーターで同じツールが 3 回以上呼び出される（エージェントが停止）
  • token_explosion — 単一の呼び出しまたはセッションで過剰なトークンを使用

リソース（静的ナレッジ）

• observability://pricing — 現在の LLM 料金表（主要モデルすべてのトークンあたりのコスト）
• observability://best-practices — エージェント可観測性のベストプラクティスガイド

インストール

Claude Desktop / Claude Code

MCP 設定（~/.claude/settings.json またはプロジェクトの .mcp.json）に追加します。

{
  "mcpServers": {
    "agent-observability": {
      "command": "npx",
      "args": ["agentic-observability-mcp"]
    }
  }
}

Cursor

.cursor/mcp.json に追加します。

{
  "mcpServers": {
    "agent-observability": {
      "command": "npx",
      "args": ["agentic-observability-mcp"]
    }
  }
}

Windsurf / VS Code

同じ手順で、MCP 設定ファイルにサーバーを追加します。

ユースケース

エージェントフレームワークの開発者向け： 独自のテレメトリーを構築せずに、リアルタイムのコストとパフォーマンスデータを取得できるよう、track_token_usage と log_tool_call をエージェントのループに組み込みます。

本番環境でエージェントを運用するチーム向け： detect_anomaly を使って、問題になる前に、停止したエージェント（ループ検出）、急増するコスト（コスト急増）、低下したツールのパフォーマンス（レイテンシ急増）を検出します。

コスト最適化向け： get_cost_report でモデル別に集計し、どのモデルが予算を圧迫しているかを特定します。品質に問題がない範囲で、高コストの推論呼び出しを低コストのモデルに切り替えます。

コンプライアンスと監査向け： タイプが「decision」の trace_agent_action はすべて、監査記録を作成します。説明に推論を含めることで、完全な追跡可能性を確保できます。

例

Agent: "Track that I just used 1,500 input tokens and 800 output tokens
        with claude-sonnet-4 on Anthropic for session agent_run_001"

--> Returns:
  {
    "call_cost": 0.016500,
    "running_session_total": 0.016500,
    "model": "claude-sonnet-4",
    "provider": "anthropic",
    "pricing_used": { "input": 0.000003, "output": 0.000015 },
    "model_breakdown": {
      "claude-sonnet-4": {
        "calls": 1,
        "input_tokens": 1500,
        "output_tokens": 800,
        "cost": 0.016500
      }
    }
  }

Agent: "Check session agent_run_001 for anomalies — cost spike and loop detection"

--> Returns:
  {
    "anomalies_found": 0,
    "anomalies": [],
    "checks_performed": ["cost_spike", "loop_detection"]
  }

組み込み料金表

次のモデルのコストを自動計算します（必要に応じてカスタム料金で上書きできます）。

プロバイダー	モデル
Anthropic	Claude Opus 4、Sonnet 4、Haiku 4、3.5 Sonnet、3.5 Haiku、3 Opus
OpenAI	GPT-4o、GPT-4o Mini、GPT-4 Turbo、o1、o1-mini、o3-mini
Google	Gemini 2.5 Pro、2.5 Flash、2.0 Flash、1.5 Pro
Mistral	Large、Medium、Small、Codestral
ローカル	コストなし（セルフホストモデル）

料金

プラン	価格	エージェント数	データ保持期間	月間イベント数
Free	$0	1	7 日間	10,000
Starter	$59/月	5	30 日間	100,000
Pro	$299/月	25	90 日間	1,000,000
Enterprise	$999/月	無制限	1 年間	無制限 + SOC2 レポート

アーキテクチャ

v1 ではインメモリストレージ（Maps）を使用します。サーバーを再起動すると、データは失われます。ストレージ層（src/storage.js）は、v2 で Redis または Postgres に簡単に置き換えられる構成になっています。

要件

• Node.js 18+
• API キーは不要です
• MCP SDK と Zod 以外の外部依存関係はありません

ライセンス

MIT

キーワード

mcp, mcp-server, observability, agent-tracing, cost-tracking, token-usage, ai-agent, performance-monitoring, audit-trail, model-context-protocol