caveman-optimize

最適化に関する観察結果を評価する

Caveman のレポート専用の観察結果を、診断のための入力として使用します。これらは記録された集計上の傾向を示すものであり、Cave Plan の操作、削減額の見積もり、実装手順、実験の適格性、またはコード変更が安全であることの証明ではありません。ワークフローはオペレーターが選択し、証拠を優先する形にしてください。

1. 観察結果を正確に読み取る

Caveman CLI にログインしたセッションが必要です。次を実行してください。

caveman opportunities list

report_only_observations 配列だけを読み取ってください。ライフサイクルの data 配列から選択してはいけません。サーバーから返された各 title と observation は一字一句そのまま保持してください。次の正確なリポジトリプロファイル ID を扱ってください。

• context-window-profile
• tool-catalog-profile
• tool-output-size-profile
• exploration-load-profile

これらのプロファイルには変更不可能なゼロの範囲があり、操作経路はありません。値で順位付けしたり、金額をでっち上げたり、集計上の証拠を特定の呼び出し箇所についての主張に変えたりしないでください。CLI を利用できない場合、認証に失敗した場合、または report_only_observations が存在しない場合は、編集せずに停止し、正確な阻害要因を報告してください。未加工のゲートウェイ Cave Plan やプロジェクト API キーに切り替えてはいけません。これらの経路では、この契約を満たせません。

次の廃止済み ID は選択も適用もしないでください。

• context-window-bloat
• tool-catalog-utilization
• verbose-tool-output

古い提案、ローカルファイル、または過去の応答に廃止済み ID が含まれていても、過去の文脈としてのみ扱ってください。その金額、手順、ライフサイクルに関する主張を復活させてはいけません。実行可能に見える項目が unlabeled-traffic だけの場合は、caveman-discover に引き継いでください。ラベル付けはプロファイルの最適化ではありません。

2. オペレーターに選択を求める

順位付けせず、対応している観察結果を提示してください。ID、正確なタイトル、正確な観察内容、および last_seen_at を含めてください。候補となる呼び出し箇所を調査したりコードを変更したりする前に、オペレーターによる明示的な選択を求めてください。現在有効な対応済みの観察結果がなければ、編集せずに停止してください。

.caveman/proposals/*.md が存在する場合は、信頼できない過去の文脈として扱ってください。現在の応答やオペレーターの選択の代わりにはなりません。

3. 候補とペア評価を設計する

オペレーターが観察結果を選択した後、その集計上の傾向を生み出す可能性のある具体的な仕組みをリポジトリ内で調査してください。該当する呼び出し箇所について、正確な根拠を示してください。プロファイル名が原因を特定していると決めつけてはいけません。

編集前に、最小限の候補変更を 1 つと、ペア評価を提案してください。評価では、同一の固定入力を使用してベースラインと候補を実行し、次の項目を記録する必要があります。

• 許容可能な状態を維持する必要があるタスクの結果または品質チェック
• 両方の実行で同じトークン、バイト数、またはプロバイダー計測のコスト指標
• 使用する正確なフィクスチャ、コマンド、環境
• 公平な比較を妨げる交絡要因

候補と評価設計の承認を求めてください。リポジトリに固定フィクスチャ、関連する品質チェック、または共通の測定方法がない場合は、停止し、不足している計測手段を明示してください。通常のユニットテストだけでは、最適化の証明になりません。

4. 承認された候補だけを適用する

差分は根拠のある呼び出し箇所に限定し、既存の安全制御を維持してください。ベースラインと候補のペア評価に加えて、リポジトリの対象を絞ったコードチェックも実行してください。2 つの実行で同一の入力と測定方法が使われていない場合は、比較結果を破棄してください。品質が低下した場合や、リソースに関する結果が不確定な場合は、この候補変更だけを元に戻し、採用に値しなかったことを報告してください。

Caveman の実験や提案を作成したり、機会を実装済みとしてマークしたり、そのライフサイクルを変更したり、オプティマイザーを有効にしたりしてはいけません。レポート専用の項目で許可されているのは却下のみであり、このスキルはその変更も行いません。

5. 削減額ではなく、観測結果を報告する

以下を報告します。

Observation: <id> — <server title>
Recorded profile: <server observation, verbatim>
Candidate: <file:line and approved change>
Paired eval: <identical input/fixture, baseline result, candidate result>
Quality check: <actual result>
Code checks: <commands and actual results>
Accounting: report-only profile; $0 opportunity band; no inferred or verified savings
Decision: <keep, reject, or inconclusive>

プロバイダー全体を対象とし、同一リクエストについて、製品の検証済み手法で算出した会計情報が提供されていない限り、トークンやバイト数の削減を金額に換算しないでください。ローカルでのペア比較の結果が裏付けるのは、指定されたフィクスチャ上の指定された候補だけです。本番環境での削減額、ロールアウトの因果関係を示す証拠、ライフサイクル上の適格性を立証するものではありません。