performance-monitor

パフォーマンスモニター

目的

AI エージェントのパフォーマンスの監視、ベンチマーク、最適化に関する専門知識を提供します。トークン使用量の追跡、レイテンシー分析、コスト最適化、AI システムの品質評価指標（eval）の実装を専門としています。

使用するタイミング

• AI エージェントのトークン使用量とコストを追跡するとき
• エージェントのレイテンシーを測定、最適化するとき
• 評価指標（eval）を実装するとき
• エージェントの品質と精度をベンチマークするとき
• エージェントのコスト効率を最適化するとき
• AI パイプラインの可観測性を構築するとき
• エージェントの会話パターンを分析するとき
• エージェントの A/B テストを設定するとき

クイックスタート

このスキルを呼び出すタイミング：

• AI エージェントのコストとトークン使用量を最適化するとき
• エージェントのレイテンシーとパフォーマンスを測定するとき
• 評価フレームワークを実装するとき
• AI システムの可観測性を構築するとき
• エージェントの品質をベンチマークするとき

呼び出さないでください：

• 一般的なアプリケーションのパフォーマンス → /performance-engineer を使用
• インフラストラクチャの監視 → /sre-engineer を使用
• ML モデルのトレーニング最適化 → /ml-engineer を使用
• プロンプトの設計 → /prompt-engineer を使用

判断フレームワーク

Optimization Goal?
├── Cost Reduction
│   ├── Token usage → Prompt optimization
│   └── API calls → Caching, batching
├── Latency
│   ├── Time to first token → Streaming
│   └── Total response time → Model selection
├── Quality
│   ├── Accuracy → Evals with ground truth
│   └── Consistency → Multiple run analysis
└── Reliability
    └── Error rates, retry patterns

主なワークフロー

1. トークン使用量の追跡

1. API 呼び出しに計測機能を組み込み、使用量を取得する
2. 入力トークンと出力トークンを個別に追跡する
3. エージェント、タスク、ユーザーごとに集計する
4. 操作ごとのコストを計算する
5. 可視化のためのダッシュボードを構築する
6. 異常な使用量に対するアラートを設定する

2. Eval フレームワークのセットアップ

1. 評価基準を定義する
2. 期待される出力を含むテストデータセットを作成する
3. スコアリング関数を実装する
4. 自動 eval パイプラインを実行する
5. スコアを経時的に追跡する
6. 回帰テストに使用する

3. レイテンシーの最適化

1. ベースラインのレイテンシーを測定する
2. ボトルネック（モデル、ネットワーク、解析）を特定する
3. 適用可能な場合はストリーミングを実装する
4. プロンプトの長さを最適化する
5. モデルサイズのトレードオフを検討する
6. 繰り返し発生するクエリにキャッシュを追加する

ベストプラクティス

• トークン数は API 呼び出し回数とは別に追跡する
• 最適化の前に eval を実装する
• レイテンシーには平均値ではなくパーセンタイル（p50、p95、p99）を使用する
• デバッグ用にプロンプトと応答をログに記録する
• コスト予算とアラートを設定する
• プロンプトをバージョン管理し、バージョンごとのパフォーマンスを追跡する

アンチパターン

アンチパターン	問題	正しいアプローチ
トークンを追跡しない	想定外のコストが発生する	すべての呼び出しに計測機能を組み込む
eval なしで最適化する	品質が低下する	最適化の前に測定する
平均レイテンシーのみを使う	テールレイテンシーが見えなくなる	パーセンタイルを使用する
プロンプトをバージョン管理しない	変更との相関を確認できない	バージョン管理して追跡する
キャッシュを無視する	コストが繰り返し発生する	変化しない応答をキャッシュする