mlflow-trace-metrics

MLflow メトリクスをクエリする

サーバー、実験 ID、要求された期間を再利用します。必要なメトリクス、ビュー、集計、グループ化を正確に選択してください。トークン数は通貨コストではありません。

前提条件

集計クエリについては、メトリクス API リファレンスを参照してください。個々のトレースも必要な場合は、検索する前にトレースの取得を参照してください。利用できない場合は、検索ガイドを使用してください。

手順 1：クライアントを確認する

このスキルを基準に scripts/fetch_metrics.py の場所を特定し、フラグを確認するには --help を使用します。メトリクスエンドポイントとヘルパーは、Databricks が管理するトラッキングには対応していません。OSS では HTTP(S) を受け付けますが、databricks:// プロファイルには対応しておらず、認証ヘッダーも追加しません。既存の対応済み認証クライアントを使用するか、制約を報告してください。Databricks プロファイルをワークスペース URL に変換したり、トークンを貼り付けるよう依頼したりしないでください。

手順 2：メトリクスを選択する

API リファレンスを使用して、TRACES（デフォルト）、SPANS、または ASSESSMENTS を選択します。エンティティには COUNT、トークンには SUM、分布には AVG/P95 を使用してください。メトリクスを黙って代用しないでください。

手順 3：時間範囲をクエリする

明示的な範囲を指定してクエリします。指定できる値は、エポックミリ秒、タイムゾーン付きの ISO タイムスタンプ、now、または -24h のような相対値です。バケットの単位は秒で、両方の範囲境界が必要です。

python <SKILL_DIR>/scripts/fetch_metrics.py -s <SERVER> -x <EXPERIMENT_ID> \
  -m total_tokens -a SUM -t 3600 --start-time="-24h" --end-time=now -o json

レイテンシ：-m latency -a AVG,P95 -d trace_name。数値品質：-v ASSESSMENTS -m assessment_value -a AVG -d assessment_name。ステータス別件数：-m trace_count -a COUNT -d trace_status。同じ明示的な範囲を維持してください。

検証

実際の metric_name、ディメンション、値を確認し、実験／期間、メトリクス、集計、単位、フィルター、カバレッジを正確に報告してください。data_points が空でも、使用量がゼロとは限りません。トークン計測が行われていない場合は、使用量が過少にカウントされる可能性があります。品質の集計には、スコアラーごとの尺度と、有効／エラー／欠損の分母が必要です。ゼロや false は有効な値の場合があり、スコアラーの失敗はゼロスコアではありません。また、無関係なスコアラーを平均してはいけません。

next_page_token がある場合、結果は一部のみです。ヘルパーはこのトークンを表示しますが、後続ページを取得できません。ページネーションに対応した既存のクライアントを使用するか、不完全であることを明示してください。ステータス別件数はエラー率ではありません。ERROR / 全ステータスを算出するのは、完全な分母を明示できる場合に限ります。リクエスト／認証エラーと空の結果を区別してください。集計に基づいて因果関係を診断するには、代表的なトレースの証拠が必要です。

参考資料

API リファレンス：ワイヤーフィールド、メトリクスとビューの互換性、メトリクス固有のフィルター。