关于 launch-run
用于启动受限评估运行的 Coval 技能。它会核对工作区、测试用例、指标、执行预算和运行状态,避免盲目重试或将排队中的运行误报为完成。
主要功能
- 01核实组织与工作区
- 02检查用例和指标定义
- 03规划有界运行请求
- 04通过 Coval CLI 启动运行
- 05确认运行 ID 和实际状态
- 06避免未经核实的重试
适用场景
- 01为未测试的连接启动单个测试
- 02在会话预算内运行获批用例
- 03仅需启动时返回运行 ID
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ coval-ai/ coval-external-skills --skill launch-run安装后在 Claude Code 中输入/launch-run确认已加载。
详细介绍
启动 Coval 运行
如果已安装 quick-eval,请使用它;它涵盖规划、受限执行和结果审计。从该工作流调用时,不要绕过其会话预算。
如果仅安装了此技能,请遵循相同的最低启动要求:
- 确认目标组织、工作区和 API 环境。查看 Agent、角色设定、准确的测试用例以及所选指标定义。检查命令帮助和错误信息。通过身份验证并不能证明租户身份。
- 准备结构化启动请求,明确指定
options.test_case_ids、迭代次数、并发数、指标 ID 和经过验证的单次调用时长限制。按每个角色设定计算测试用例数 × 迭代次数 ×(1 + 变异数),并计入会话中的任何先前运行。并发不会降低总成本。 - 展示具体计划和受限停止条件。规划或检查请求并不代表获得了付费运行的授权;应遵循已授予的执行权限,只有需要扩大范围或预算时才询问。对于未经测试的连接,默认建议先进行一次调用,而不是运行整个测试集。
- 执行
coval --agent runs launch --input-json @run.json。检查ok和退出状态。保存返回的运行 ID。如果响应不明确,请先检查匹配的运行,再重试;绝不要盲目重试启动操作。 - 返回运行 ID 和实际观察到的状态。已排队不等于已完成。遵循用户要求的范围:对于已完成的评估,按
quick-eval中的方式轮询并审计结果;如果只要求启动,则交还运行信息,不要声称其质量。
使用当前的 runs 架构。不要使用 /eval/*,不要臆造命令标志、添加计划任务、更改 Agent 默认设置,也不要在无人监控的情况下重新运行。本地计划并非服务器强制执行的支出上限。
评论
支持 Markdown