mcpField
E
eval

eval

github.com/alirezarezvaniAgent 工作流28.9k1.4k 次安装2 天前更新
代码仓库

关于 eval

eval 是用于为 AgentHub 会话中的 Agent 结果排名的技能，可运行配置的指标、用 LLM 评审差异，或结合两种评估方式。

主要功能

  1. 01按命令指标对结果排名
  2. 02用 LLM 评审比较 Agent 差异
  3. 03结合指标与定性评估
  4. 04展示排名及理由
  5. 05评估后更新会话状态

适用场景

  1. 01按测得的性能为 Agent 工作排名
  2. 02比较代码更改的正确性和质量
  3. 03通过定性评审区分接近的指标结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alirezarezvani/claude-skills --skill eval

安装后在 Claude Code 中输入/eval确认已加载。

详细介绍

/hub:eval — 评估 Agent 结果

对会话中所有 Agent 的结果进行排名。支持基于指标的评估（运行命令）、LLM 评审（比较 diff）或混合模式。

用法

/hub:eval                           # Eval latest session using configured criteria
/hub:eval 20260317-143022           # Eval specific session
/hub:eval --judge                   # Force LLM judge mode (ignore metric config)

功能说明

指标模式（已配置评估命令）

在每个 Agent 的 worktree 中运行评估命令：

python {skill_path}/scripts/result_ranker.py \
  --session {session-id} \
  --eval-cmd "{eval_cmd}" \
  --metric {metric} --direction {direction}

输出：

RANK  AGENT       METRIC      DELTA      FILES
1     agent-2     142ms       -38ms      2
2     agent-1     165ms       -15ms      3
3     agent-3     190ms       +10ms      1

Winner: agent-2 (142ms)
LLM 评审模式（未配置评估命令，或使用 --judge 标志）

对每个 Agent：

  1. 获取 diff：git diff {base_branch}...{agent_branch}
  2. 从 .agenthub/board/results/agent-{i}-result.md 读取该 Agent 的结果帖子
  3. 比较所有 diff，并按以下维度排名：
    • 正确性 — 是否解决了任务？
    • 简洁性 — 在正确性相当时，修改的行数越少越好
    • 质量 — 执行清晰、结构良好、无回归问题

给出排名并说明理由。

内容类任务的 LLM 评审输出示例：

RANK  AGENT    VERDICT                               WORD COUNT
1     agent-1  Strong narrative, clear CTA            1480
2     agent-3  Good data points, weak intro           1520
3     agent-2  Generic tone, no differentiation       1350

Winner: agent-1 (strongest narrative arc and call-to-action)
混合模式
  1. 先运行指标评估
  2. 如果排名靠前的 Agent 之间相差在 10% 以内，则使用 LLM 评审来打破平局
  3. 同时展示指标排名和定性排名

评估之后

  1. 更新会话状态：
python {skill_path}/scripts/session_manager.py --update {session-id} --state evaluating
  1. 告知用户：
    • 带有获胜者高亮标注的排名结果
    • 下一步：使用 /hub:merge 合并获胜者
    • 或使用 /hub:merge {session-id} --agent {winner} 明确指定

评论

支持 Markdown