longitudinal-measurement について
AI製品の品質を継続的に追跡し、劣化を検出するための設計スキルです。指標、ゴールデンテストセットの定期評価、傾向監視、ドリフトの診断と対応を扱います。
主な機能
- 01長期的な品質指標
- 02ゴールデンテストセットと自動評価
- 03傾向ダッシュボードとアラート
- 04ドリフトの診断と対応
活用シーン
- 01モデル更新前後の品質追跡
- 02プロンプトやデータのドリフト検出
- 03タスク成功率の変化の調査
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/longitudinal-measurementを入力して読み込まれたか確認します。
詳細
時系列測定
AI 製品は時間とともに変化します。モデルが更新され、利用パターンが変わり、誰も気づかないうちに品質が低下することがあります。時系列測定は、時間の経過に伴う品質を追跡し、ユーザーが気づく前に劣化を検知する方法です。
時間とともに変化するもの
- モデルの更新：新しいモデルバージョンでは、一部の機能が向上する一方、ほかの機能が低下することがあります
- プロンプトのドリフト：システムプロンプトに編集が重なり、予期しない形で相互作用することがあります
- 利用の進化：ユーザーが、テストされていない新たなユースケースを見つけることがあります
- データドリフト：実環境の入力が、テスト時の入力から乖離します
- 期待値の変化：ユーザーは経験を積むにつれて、期待値が変化します
時系列で測定する項目
- 品質スコア：一貫したテストセットでのルーブリックスコアを、時間の経過に伴って追跡します
- タスク成功率：ユーザーが同じ割合でタスクを完了できているかを監視します
- 満足度の指標：明示的および暗黙的な満足度の傾向を追跡します
- エラー率：失敗の頻度と種類の分布を監視します
- レイテンシー：応答時間の変化は、劣化を示している場合があります
- エンゲージメントパターン：利用頻度、深さ、幅の変化を追跡します
測定インフラストラクチャ
- ゴールデンテストセット：品質の変化を検知するため、定期的に評価する固定の入力セット
- 自動評価：スケジュールに沿ってゴールデンテストセットを自動的に実行します
- ダッシュボード：傾向を可視化し、重大な変化に対するアラートを設定します
- 回帰検知：統計的手法を用いて、実際の変化とノイズを区別します
- ユーザーコホートの追跡：特定のユーザーグループを時間の経過に伴って追跡します
ドリフトへの対応
測定によってドリフトが確認された場合：
- 検知：自動アラートが重大な変化を通知します
- 診断：モデルの更新、プロンプトの変更、データの変化、利用の変化のどれが原因でしょうか？
- 評価：ドリフトは有害、中立、あるいは実際には改善でしょうか？
- 対応：プロンプトを調整する、変更を元に戻す、ガードレールを更新する、または新しいベースラインを受け入れます
- 検証：修正が機能したことを確認し、新しいベースラインを設定します
設計成果物
- 時系列測定計画
- ゴールデンテストセットの仕様
- 品質傾向ダッシュボード
- ドリフト検知アラートの設定
- 検知されたドリフトへの対応手順
コメント
Markdown 対応