launch-run

Coval の実行を開始する

インストールされている場合は quick-eval を使用してください。計画、範囲を限定した実行、結果の監査をカバーしています。そのワークフローから呼び出す場合は、セッションの予算を超えないでください。このスキルだけがインストールされている場合も、同じ最小限の実行開始要件に従ってください。

1. 対象の組織、ワークスペース、API 環境を確認してください。エージェント、ペルソナ、正確なケース、選択したメトリクスの定義を読み取ってください。コマンドのヘルプとエラーを確認してください。認証されていることは、テナントの本人確認にはなりません。
2. options.test_case_ids、反復回数、同時実行数、メトリクス ID、検証済みの呼び出しごとの実行時間制限を明示した、構造化された実行リクエストを準備してください。ペルソナごとに、ケース数 × 反復回数 × (1 + 変更回数) を計算し、セッション内の過去の実行も含めてください。同時実行数を増やしても、総コストは減りません。
3. 具体的な計画と、範囲を限定した停止条件を示してください。計画や調査の依頼は、有料実行の許可を意味するものではありません。すでに与えられた実行権限に従い、範囲や予算を拡大する必要がある場合にのみ確認を求めてください。未テストの接続では、テストセット全体ではなく、まず 1 回の呼び出しを提案してください。
4. coval --agent runs launch --input-json @run.json を実行してください。ok と終了ステータスを確認してください。返された実行 ID を保存してください。応答が曖昧な場合は、再試行する前に一致する実行を調べてください。実行開始を決して無確認で再試行しないでください。
5. 実行 ID と実際に確認されたステータスを返してください。キューに入った状態は完了ではありません。ユーザーが求めた範囲に従ってください。評価完了まで求められている場合は、quick-eval と同様にポーリングして結果を監査してください。実行開始のみを求められている場合は、品質について断定せず、実行を引き継いでください。

現在の runs スキーマを使用してください。/eval/* を使用したり、コマンドフラグをでっち上げたり、スケジュールを追加したり、エージェントのデフォルト設定を変更したり、無人で再実行したりしないでください。ローカルの計画は、サーバーによって強制される支出上限ではありません。