mcpField
C
codex-readiness-integration-test

codex-readiness-integration-test

github.com/openaiテスト・品質28.4k60 回インストール18 週間前に更新
リポジトリ

codex-readiness-integration-test について

codex-readiness-integration-testは、Codex CLIでリポジトリ内のエージェント実行をテストし、その後ビルド・テストコマンドを実行して評価するスキルです。実行前にタスクプロンプトの承認が必要で、確認用の成果物を生成します。

主な機能

  1. 01Codex CLIによるエージェント実行
  2. 02ユーザー承認済みのタスクプロンプト
  3. 03リポジトリ内でのビルド・テスト
  4. 04証拠収集と決定的チェック
  5. 05LLM評価とサマリー

活用シーン

  1. 01エージェントのリポジトリ変更フローのテスト
  2. 02編集後のビルド・テストコマンドの検証
  3. 03実行証拠と評価結果の確認

MCP 対応

明示的に設定しない限り、このスキルはMCPサーバーやツールを使用しません。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/openai/skills --skill codex-readiness-integration-test

インストール後、Claude Code で/codex-readiness-integration-testを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

LICENSE.txt
references/
agentic_loop_eval.md
change_quality.md
checks.json
generate_prompt.md
json_fix.md
llm_eval_schema.json
scripts/
collect_evidence.py
deterministic_rules.py
run_agentic_loop.py
run_integration_test.py
run_llm_eval.py
run_plan.py
scoring.py
tests/
test_planning_signal_rule.py
test_verification_after_code_changes.py

詳細

LLM Codex 対応準備状況の統合テスト

このスキルは、エージェント型実行の品質を検証するために、複数段階の統合テストを実行します。常に実行モードで動作し、読み取り専用モードはありません。

出力

各実行の出力は .codex-readiness-integration-test/<timestamp>/ に書き込まれ、.codex-readiness-integration-test/latest.json が更新されます。

実行ごとの新しい出力：

  • agentic_summary.json と logs/agentic.log（エージェント型ループの実行）
  • llm_results.json（自動 LLM 評価）
  • summary.txt（人が読める形式の概要）

前提条件（必須）

  • テストを実行する前に、リポジトリローカルの HOME を使用して Codex CLI に認証してください。 これらのコマンドはご自身のターミナルで実行してください（統合テスト経由ではありません）。 HOME=$PWD/.codex-home XDG_CACHE_HOME=$PWD/.codex-home/.cache codex login HOME=$PWD/.codex-home XDG_CACHE_HOME=$PWD/.codex-home/.cache codex login status
  • 統合テストは、最初の手順として {repo_root}/.codex-home および {repo_root}/.codex-home/.cache/codex を作成します。

ワークフロー

  1. タスクの取得方法をユーザーに尋ねます。
    • 明確な選択肢を 2 つ提示します。（a）ユーザーがカスタムのタスク／プロンプトを提供する、または（b）タスクを自動生成する。
    • ユーザーがどちらかを選ぶまで、エントリポイントを実行しないでください。
  2. {out_dir}/prompt.pending.json を生成または読み込みます。
    • リポジトリルートの prompt.json ではなく、統合テストで想定されているプロンプトのパスを使用します。
    • デフォルトの出力ディレクトリでは、このパスは .codex-readiness-integration-test/prompt.pending.json です。
    • --seed-task が指定されている場合、それを開始タスクとして使用します。
    • 指定されていない場合は、skills/codex-readiness-integration-test/references/generate_prompt.md を使用してタスクを生成し、JSON を {out_dir}/prompt.pending.json に保存します。
    • 実行前に、ユーザーがプロンプトを承認する必要があります（自動承認モードはありません）。承認を求める際は、必ずプロンプトの概要を出力してください。
  3. Codex CLI を介してエージェント型ループを実行します（AGENTS.md と change_prompt を使用）。
  4. skills/codex-readiness-integration-test/scripts/run_plan.py を介して、プロンプトの計画に記載されたビルド／テストコマンドを実行します。
  5. 証拠（evidence.json）と決定論的チェックを収集し、Codex CLI を介して自動 LLM 評価を実行します。
  6. スコアを算出し、レポートと概要を出力します。

設定

{out_dir}/prompt.pending.json で指定できる任意のフィールド：

  • agentic_loop：エージェント型ループの Codex CLI 呼び出しを設定します。
  • llm_eval：自動評価の Codex CLI 呼び出しを設定します。

これらのフィールドを省略した場合は、デフォルトが使用されます。

要件

  • 証拠に Context compaction enabled という語句が含まれている場合、LLM 評価器は失敗しなければなりません。
  • 厳密な閾値は設けず、コンテキスト使用量を定性的に評価してください。

このテストで適切にカバーできる内容

  • 実際のリポジトリルートに対して Codex CLI を実行し、実際のファイルシステムの編集と git 差分を生成します。
  • 承認済みの変更プロンプトを実行し、その後リポジトリ内でビルド／テスト計画を実行します。
  • 証拠、決定論的チェック、LLM 評価の成果物を取得し、レビューに利用できるようにします。

このテストでは再現されない内容

  • エージェント型ループがデフォルト以外のフラグ（例：承認／サンドボックスのバイパス）を使用する場合があるため、対話型のガードレールとは動作が異なります。
  • 専用の HOME（.codex-home）を使用するため、通常の CLI 使用時とは認証／設定／キャッシュが異なる場合があります。
  • 自動生成されたプロンプトと一度限りの実行では、対話型のガイダンスは再現されません。
  • 明示的に設定しない限り、MCP サーバーやツールは実行されません。

注意事項

  • skills/codex-readiness-integration-test/references/ 内のプロンプトは、厳密な JSON を想定しています。
  • 無効な JSON 出力を修復するには、skills/codex-readiness-integration-test/references/json_fix.md を使用してください。
  • このスキルは codex CLI を呼び出します。インストールされ、PATH 上で利用できることを確認するか、{out_dir}/prompt.pending.json でコマンドを上書きしてください。
  • エージェント型ループがサンドボックスによってツールへのアクセスをブロックされたことを検出した場合、{run_dir}/agentic_summary.json に requires_escalation: true を書き込み、終了コード 3 で終了するようになりました。その場合は、権限を昇格して統合テストを再実行してください。

コメント

Markdown 対応