mcpField
Q
querying-mlflow-metrics

querying-mlflow-metrics

github.com/mlflowデータ・データベース82959 回インストール2 日前に更新
リポジトリ

querying-mlflow-metrics について

MLflow トラッキングサーバーのメトリクスをクエリするコマンドラインスキルです。集計、グループ化、時間区分、テーブルまたは JSON 出力に対応します。

主な機能

  1. 01トレース、スパン、評価メトリクスの取得
  2. 02統計関数による集計
  3. 03ディメンション別のグループ化
  4. 04時間区分ごとの集計
  5. 05テーブルまたは JSON 出力

活用シーン

  1. 01実験ごとのトークン使用量の集計
  2. 02メトリクスの時間別推移の確認
  3. 03トレース名別のレイテンシ比較
  4. 04評価者別の評価スコア確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/mlflow/skills --skill querying-mlflow-metrics

インストール後、Claude Code で/querying-mlflow-metricsを入力して読み込まれたか確認します。

同梱ファイルreferences/api_reference.mdscripts/fetch_metrics.py

詳細

MLflow Metrics

scripts/fetch_metrics.py を実行して、MLflow トラッキングサーバーからメトリクスを取得します。

例

トークン使用量の概要：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM,AVG

出力：AVG: 223.91 SUM: 7613

1 時間ごとのトークン推移（過去 24 時間）：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM \
    -t 3600 --start-time="-24h" --end-time=now

出力：1 時間ごとに集計したトークン合計

トレースごとのレイテンシパーセンタイル：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m latency -a AVG,P95 -d trace_name

ステータス別のエラー率：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m trace_count -a COUNT -d trace_status

評価者別の品質スコア（アセスメント）：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
    -m assessment_value -a AVG,P50 -d assessment_name

出力：各評価者（正確性、関連性など）の平均スコアと中央値

名前別のアセスメント数：

python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
    -m assessment_count -a COUNT -d assessment_name

JSON 出力： 任意のコマンドに -o json を追加します。

引数

引数必須説明
-s, --serverはいMLflow サーバーの URL
-x, --experiment-idsはい実験 ID（カンマ区切り）
-m, --metricはいtrace_count、latency、input_tokens、output_tokens、total_tokens
-a, --aggregationsはいCOUNT、SUM、AVG、MIN、MAX、P50、P95、P99
-d, --dimensionsいいえグループ化の基準：trace_name、trace_status
-t, --time-intervalいいえ集計間隔（秒）（3600=1 時間ごと、86400=1 日ごと）
--start-timeいいえ-24h、-7d、now、ISO 8601、またはエポックミリ秒
--end-timeいいえstart-time と同じ形式
-o, --outputいいえtable（デフォルト）または json

SPANS メトリクス（span_count、latency）の場合は、-v SPANS を追加します。 ASSESSMENTS メトリクスの場合は、-v ASSESSMENTS を追加します。

フィルター構文と API の詳細については、references/api_reference.md を参照してください。

コメント

Markdown 対応