provider-scorecard について
Provider Scorecardは、運用データと重み付けした指標でデータ補完プロバイダーを評価するスキルです。運用チームの定期レビューや契約更新、クレジット配分、ルーティング変更を支援します。
主な機能
- 01成功率、補完率、遅延、クレジット、信頼度の指標定義
- 02重み付けによるプロバイダー比較
- 03スコアカードとエグゼクティブサマリーの作成
- 04最適化実験と担当者の記録
活用シーン
- 01週次・月次のプロバイダー実績レビュー
- 02契約更新やクレジット配分の判断
- 03障害や性能低下後のルーティング調整
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/provider-scorecardを入力して読み込まれたか確認します。
詳細
プロバイダースコアカードスキル
使用するタイミング
- エンリッチメントベンダーの月次／週次の運用レビュー。
- 契約更新やクレジット割り当ての調整前。
- 障害やパフォーマンスの低下後に、ルーティング変更の判断材料とする場合。
フレームワーク
- 指標の定義 – 成功率、充足率、レイテンシ、クレジット消費量、信頼度。
- データソース – プロバイダーのログ、クレジット使用量テーブル、QA サンプル、インシデントチケット。
- スコアリングモデル – エンリッチメントの種類とビジネス上の優先度に応じて、各指標に重みを付けます。
- 可視化 – 優れたプロバイダーと課題のあるプロバイダーを明確にしたダッシュボードまたはメモ。
- アクショントラッカー – 最適化実験と担当者の割り当てを記録します。
テンプレート
- プロバイダーごとのスコアカード表。
- 重要なポイントをまとめたエグゼクティブサマリーのスライド。
- プロバイダー改善タスク用の Jira／Asana テンプレート。
ヒント
- 不公平な比較を避けるため、エンリッチメントの種類ごとに指標を正規化します。
- サポートの応答性やロードマップへのアクセスなど、定性的な所見も記録します。
- ルーティングの判断を反映できるよう、
waterfall-blueprintの更新と併用します。
コメント
Markdown 対応