gpt-model-effort-advisor

GPT-5.6 モデルと推論負荷のアドバイザー

タスクに適したモデルのティアと推論負荷を選び、必要な場合にのみ引き上げ、実際の結果から学習し、失敗を診断します。推奨と記録を行いますが、選択と切り替えはユーザーが行います。

独立した2つの軸

• モデルのティア＝知能の上限です。 より大きなティアほど知識が豊富で、より深く推論できますが、トークンあたりの料金も高くなります。GPT-5.6 のティア：Luna（低価格）→ Terra（バランス型）→ Sol（最先端）。
• 推論負荷＝熟考する時間です。 負荷を高めると、同じ問題についてより多く考えますが、トークン数も増えます。レベル：Low → Medium → High → Max → Ultra。

この2つは別々の設定です。どちらもデフォルトで最大にすると、ほとんどのタスクで品質が向上しないままコストがかさみます。それぞれの軸を慎重に選んでください。

エンジン：registry.py

registry.py（同じフォルダー内、標準ライブラリのみ）が3つのデータ関数を支えます。必ずこの CLI を使ってください。JSON を手動で編集しないでください。

python3 registry.py session                        # read the live session's model + effort
python3 registry.py query "<task>" [--axes ...]    # find similar past successes/failures
python3 registry.py record --task "..." --model gpt-5.6-<tier> --effort <e> \
        --outcome success|fail|partial [--axes ...] [--reason ...] [--cost N] [--minutes N] [--notes ...]
python3 registry.py stats                          # summary of the registry

レジストリは空の状態で始まり、ユーザーの実際の利用状況に応じてデータが蓄積されます。記録された結果は、以下の静的なヒューリスティックより優先されます。時間とともに、個人の履歴が一般的なルールに勝るようになります。

すべてのタスクで行うワークフロー

1. セッションを確認する（関数：state）

python3 registry.py session   →  {"model": "...", "effort": "...", "source": "..."}

現在の設定がタスクに必要な負荷より高い（簡単な作業に高価な設定を使っている）場合、または必要な負荷より低い場合は、その旨を伝えてください。Codex はターンごとに自動で切り替わりません。ユーザーが /model で切り替えるか、-m／-c を指定して次のセッションを開始します。

2. 推奨する（まずレジストリ、次にヒューリスティック）

python3 registry.py query "<the user's task>" --axes "<4-axis tags>"

• best_success_combos がある場合は、その組み合わせを最初に推奨します（「類似のタスクは Terra + High で成功しました」）。
• avoid_failures がある場合は、その組み合わせを避けるよう警告します。
• レジストリに類似の記録がない場合は、以下のヒューリスティックに従います。

タスクを4つの軸で分類し、マッチングの精度を高めるために渡します。 --axes "verifiable=yes|partial|no,failcost=low|mid|high,volume=high|low,depth=shallow|mid|deep"

• 検証可能性（verifiable） — テスト、スキーマ、正確な数値、レンダリングエラーなどを使って、成功を機械的に確認できますか？
• 失敗コスト（failcost） — 誤った回答のコストはどの程度ですか？
• 実行量（volume） — 何回実行しますか？（バッチ処理なら価格を重視します）
• 深さ（depth） — 広範な世界知識や設計が必要ですか？ それとも、主に情報の検索と組み立てですか？

3. 結果を記録する（関数：success + failure）

タスクが終わったら、結果を記録してください。これを通じてアドバイザーが学習します。

• 成功（ユーザーが満足／チェックに合格）：record --outcome success — 今後、類似のタスクではこの組み合わせが最初に提示されます。
• 失敗／不満／品質の低下：record --outcome fail --reason "<what went wrong>" を実行してから、以下の表で診断します。
• 判断が難しい場合：partial。

コールドスタート時のヒューリスティック（レジストリに一致するものがない場合）

固定価格ではなく、タスクの性質から判断します。

タスクの性質	まず選ぶもの	理由
形式的で検証可能、かつ大量処理（抽出、照合、変換）	エコノミーティア · Medium	形式的なタスクでは品質が保たれます。変わるのはコストだけなので、条件を満たす中で最も安価なものを選びます。
判断・分析、失敗時のコストが中程度	バランスティア · High	労力はある程度までは効果がありますが、通常はバランスティアで十分です。
人がレビューするドラフト（スライド、文書）	エコノミーティア · High → 人が仕上げる	最初の作業を安価に済ませ、最後の仕上げは人が行います。
複雑な構築、失敗時のコストが中〜高（アプリ、シミュレーション、メディア）	バランスティア · Max	高い労力設定のバランスティアは、多くの場合、はるかに低いコストでフロンティアティアと同等の品質を実現します。ここではフロンティアティアのコストに見合うことはまれです。
深い知識・物理学・アーキテクチャ	フロンティアティア · High	モデルの規模が結果を本当に左右するのはこの領域です。High にとどめます。
失敗時のコストが高い／正解が一つ（移行、セキュリティ）	フロンティアティア · High、失敗した場合は Max に引き上げる	安全マージンを確保します。それでも、デフォルトで Ultra を選ぶことはありません。

労力には上限があります — 中核となる原則

推論の労力には逓減効果があり、ある点を超えると、労力を増やすことでかえって 悪影響が出る ことがあります。

• 意図ではなく仕様の文面に過剰適合する — 作業をうまく行うのではなく、チェックに通るよう最適化してしまう（報酬ハッキング／ベンチマークの攻略）。
• 結果がすでに許容できる状態なのに、終わりのない自己修正を続ける — 品質が向上しないまま、コストと所要時間が膨れ上がる。
• 新たな洞察を得られないまま、委任のオーバーヘッドが発生する。

労力を選ぶ際の指針：

• 通常、High が効果的な上限です。 それを超えると、無駄になることがよくあります。
• 最大の労力レベルは、真にサブタスクへ分割できるタスクのために確保します。 それ以外では、予算を浪費するだけです。使う前に確認してください。
• 労力の上限に達してもなお失敗する場合は、労力ではなくモデルのティアを引き上げます。

失敗の診断 — 適切な修正を選ぶ

症状	考えられる原因	修正
低い effort で誤りがある、または内容が浅い	熟考が不十分	effort を 1 段階上げる（まずは同じティア内で）
High effort でもまだ誤りがある	知能の限界に達した	effort ではなく、モデルのティアを上げる
チェックをすり抜ける／字面どおりだが誤っている（effort が高いほど悪化）	過剰最適化	effort を下げ、仕様を明確化する／チェックを強化する
合格しても改善を続け、時間とコストが膨らむ（最大 effort）	停止条件がない	上限を設けた effort に下げ、明確な完了の定義を示す
品質に問題はないが、遅すぎる、または高コスト	過剰なリソース割り当て	ティアや effort を下げる
委任しても新たな洞察が得られない	委任のオーバーヘッド	最大 effort は避け、対象を絞った High で実行する

修正を提案した後、再試行の結果を記録してフィードバックループを完結させます。

codex での適用

• 起動：codex -m gpt-5.6-<tier> -c model_reasoning_effort=<effort>（例：-m gpt-5.6-terra -c model_reasoning_effort=high）。
• セッション途中で切り替え：/model。
• Codex は各ターンで独自にモデルを切り替えません。このスキルは推奨と記録を行い、切り替えはユーザーが行います。

出力形式

短く（3～5 行）、断定ではなく提案としてまとめます。

推奨：<tier> · <effort> — <4 軸による簡潔な評価 1 行>（過去の類似成功：<レジストリの該当項目、または「なし — ヒューリスティック」>） まずこれを実行してください。**<検証可能なチェック>に失敗した場合は、<上位ティアまたは修正>**にエスカレーションしてください。 起動：codex -m gpt-5.6-<tier> -c model_reasoning_effort=<effort> · 現在のセッション：<session read> 次の推奨を改善できるよう、結果を記録します。