evaluating-machine-learning-models

モデル評価スイート

正解率、適合率、再現率、F1 スコア、カスタム KPI など、包括的な指標スイートを使用して機械学習モデルを評価します。

概要

このスキルを使うと、Claude は機械学習モデルを徹底的に評価し、詳細なパフォーマンスの分析情報を提供できます。model-evaluation-suite プラグインを活用してさまざまな指標を生成し、モデルの選択と最適化に関する十分な情報に基づいた判断を支援します。

仕組み

1. コンテキストの分析：Claude はユーザーのリクエストを分析し、評価対象のモデルと、関心のある特定の指標を特定します。
2. 評価の実行：Claude は /eval-model コマンドを使用して、model-evaluation-suite プラグイン内でモデル評価プロセスを開始します。
3. 結果の提示：Claude は生成された指標と分析情報をユーザーに提示し、主要なパフォーマンス指標や改善できる可能性のある領域を強調します。

このスキルを使用する場面

次のことが必要なときに、このスキルが有効になります。

• 機械学習モデルのパフォーマンスを評価する。
• 複数のモデルのパフォーマンスを比較する。
• モデルを改善できる領域を特定する。
• デプロイ前にモデルのパフォーマンスを検証する。

例

例 1：モデルの正解率を評価する

ユーザーのリクエスト：「画像分類モデルの正解率を評価してください。」

このスキルは次の処理を行います。

1. /eval-model コマンドを呼び出します。
2. 保留データセットでのモデルのパフォーマンスを分析します。
3. 正解率やその他の関連指標を報告します。

例 2：モデルのパフォーマンスを比較する

ユーザーのリクエスト：「モデル A とモデル B の F1 スコアを比較してください。」

このスキルは次の処理を行います。

1. 両方のモデルに対して /eval-model コマンドを呼び出します。
2. 評価結果から F1 スコアを抽出します。
3. モデル A とモデル B の F1 スコアを比較して提示します。

ベストプラクティス

• 指標の指定：評価で関心のある特定の指標を明確に定義します。
• データの検証：評価に使用するデータが、モデルが実際に遭遇する現実世界のデータを代表するものであることを確認します。
• 結果の解釈：十分な情報に基づいた意思決定を促すため、評価結果にコンテキストと解釈を加えます。

統合

このスキルは model-evaluation-suite プラグインとシームレスに統合され、Claude Code 環境内でモデルを評価するための包括的なソリューションを提供します。他のスキルと組み合わせて、機械学習のワークフローを自動化できます。

前提条件

• 適切なファイルアクセス権限
• 必要な依存関係がインストールされていること

手順

1. トリガー条件を満たしたときにこのスキルを呼び出します
2. 必要なコンテキストとパラメーターを指定します
3. 生成された出力を確認します
4. 必要に応じて変更を適用します

出力

このスキルは、タスクに関連する構造化された出力を生成します。

エラー処理

• 無効な入力：修正を求めます
• 依存関係の不足：必要なコンポーネントを一覧表示します
• 権限エラー：解決手順を提案します

リソース

• プロジェクトのドキュメント
• 関連するスキルとコマンド