mcpField
L
launch-run

launch-run

github.com/coval-ai测试与质量361 次安装1 天前更新
代码仓库

关于 launch-run

用于启动受限评估运行的 Coval 技能。它会核对工作区、测试用例、指标、执行预算和运行状态,避免盲目重试或将排队中的运行误报为完成。

主要功能

  1. 01核实组织与工作区
  2. 02检查用例和指标定义
  3. 03规划有界运行请求
  4. 04通过 Coval CLI 启动运行
  5. 05确认运行 ID 和实际状态
  6. 06避免未经核实的重试

适用场景

  1. 01为未测试的连接启动单个测试
  2. 02在会话预算内运行获批用例
  3. 03仅需启动时返回运行 ID

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/coval-ai/coval-external-skills --skill launch-run

安装后在 Claude Code 中输入/launch-run确认已加载。

详细介绍

启动 Coval 运行

如果已安装 quick-eval,请使用它;它涵盖规划、受限执行和结果审计。从该工作流调用时,不要绕过其会话预算。 如果仅安装了此技能,请遵循相同的最低启动要求:

  1. 确认目标组织、工作区和 API 环境。查看 Agent、角色设定、准确的测试用例以及所选指标定义。检查命令帮助和错误信息。通过身份验证并不能证明租户身份。
  2. 准备结构化启动请求,明确指定 options.test_case_ids、迭代次数、并发数、指标 ID 和经过验证的单次调用时长限制。按每个角色设定计算测试用例数 × 迭代次数 ×(1 + 变异数),并计入会话中的任何先前运行。并发不会降低总成本。
  3. 展示具体计划和受限停止条件。规划或检查请求并不代表获得了付费运行的授权;应遵循已授予的执行权限,只有需要扩大范围或预算时才询问。对于未经测试的连接,默认建议先进行一次调用,而不是运行整个测试集。
  4. 执行 coval --agent runs launch --input-json @run.json。检查 ok 和退出状态。保存返回的运行 ID。如果响应不明确,请先检查匹配的运行,再重试;绝不要盲目重试启动操作。
  5. 返回运行 ID 和实际观察到的状态。已排队不等于已完成。遵循用户要求的范围:对于已完成的评估,按 quick-eval 中的方式轮询并审计结果;如果只要求启动,则交还运行信息,不要声称其质量。

使用当前的 runs 架构。不要使用 /eval/*,不要臆造命令标志、添加计划任务、更改 Agent 默认设置,也不要在无人监控的情况下重新运行。本地计划并非服务器强制执行的支出上限。

评论

支持 Markdown