关于 querying-mlflow-metrics
用于从 MLflow 跟踪服务器查询指标的命令行技能，支持聚合、分组、时间分桶以及表格或 JSON 输出。
主要功能
- 01查询 trace、span 和评估指标
- 02使用统计函数聚合
- 03按维度分组结果
- 04按时间间隔汇总指标
- 05输出表格或 JSON
适用场景
- 01汇总实验的令牌用量
- 02查看指标的每小时趋势
- 03按 trace 名称比较延迟
- 04按评估器查看评估分数
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/querying-mlflow-metrics确认已加载。
附带文件references/api_reference.mdscripts/fetch_metrics.py
详细介绍
MLflow 指标
运行 scripts/fetch_metrics.py，从 MLflow 跟踪服务器查询指标。
示例
Token 使用量摘要：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM,AVG
输出：AVG: 223.91 SUM: 7613
每小时 Token 趋势（过去 24 小时）：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM \
-t 3600 --start-time="-24h" --end-time=now
输出：按小时分桶的 Token 总和
按跟踪记录统计延迟百分位数：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m latency -a AVG,P95 -d trace_name
按状态统计错误率：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m trace_count -a COUNT -d trace_status
按评估器统计质量分数（评估）：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
-m assessment_value -a AVG,P50 -d assessment_name
输出：每个评估器的平均分和中位数分（例如，正确性、相关性）
按名称统计评估数量：
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
-m assessment_count -a COUNT -d assessment_name
JSON 输出： 在任意命令中添加 -o json。
参数
| 参数 | 必填 | 说明 |
|---|---|---|
-s, --server | 是 | MLflow 服务器 URL |
-x, --experiment-ids | 是 | 实验 ID（逗号分隔） |
-m, --metric | 是 | trace_count、latency、input_tokens、output_tokens、total_tokens |
-a, --aggregations | 是 | COUNT、SUM、AVG、MIN、MAX、P50、P95、P99 |
-d, --dimensions | 否 | 分组依据：trace_name、trace_status |
-t, --time-interval | 否 | 分桶间隔（秒）（3600=每小时，86400=每天） |
--start-time | 否 | -24h、-7d、now、ISO 8601 或 epoch 毫秒 |
--end-time | 否 | 与 start-time 相同的格式 |
-o, --output | 否 | table（默认）或 json |
对于 SPANS 指标（span_count、latency），添加 -v SPANS。
对于 ASSESSMENTS 指标，添加 -v ASSESSMENTS。
筛选语法和完整 API 详情请参阅 references/api_reference.md。
评论
支持 Markdown