twg-bench-lite

twg-bench-lite

読み取り専用のプロンプトを 1 つ実行し、無料の Atlassian／ローカル MCP コンテキストを使う場合と、TWG CLI を通じて有料の Atlassian Teamwork Graph コンテキストを使う場合の 2 回実行します。これは、薄い twg benchmark lite run ブリッジを使うスキル優先のワークフローです。ベンチマークのリポジトリが、再利用可能なランナー、評価ツール、レポートテンプレートのコードを管理します。

CLI ランチャーのフォールバック

twg <command> を実行します。シェルで command not found が発生した場合は、$HOME/.local/bin/twg（macOS/Linux）／$env:LOCALAPPDATA\Programs\twg\bin\twg.exe（PowerShell）を使い、そのディレクトリを PATH に追加するようユーザーに伝えます。認証エラーやコマンドエラーを PATH の問題として扱わないでください。

ランタイムのサポート

V1 は Codex と Rovo のライブ実行をサポートしています。Claude は V2 です。ユーザーにベンチマーク CLI をローカルにインストールさせないでください。

実行条件

両方の条件で実行できる、テキストのみの読み取りタスクを使ってください。変更を比較しないでください。書き込みを伴う場合は、ユーザーの承認後に読み取り専用の計画またはドライランのみを比較してください。基になるプロンプトは、両方の条件でバイト単位で同一に保ってください。

前提条件

既定のライフサイクル全体を実行するコマンドでは、まずポータブルランナーと選択したランタイムを確認してください。

twg benchmark lite --check

既定の確認対象は Codex です。Rovo を使う場合は --agent rovo を指定してください。

Rovo を実行する場合：

twg benchmark lite --check --agent rovo

品質評価ツールは既定で選択したランタイムを使うため、Rovo の実行では既定で Rovo 評価ツールが使われます。ユーザーが別の評価ランタイムを明示的に希望する場合は、次を使ってください。

twg benchmark lite --check --agent rovo --judge-agent codex

管理対象のカスタムエージェントが必要なのは、手動でオーケストレーションする場合のみです。

• twg-bench-lite-control
• twg-bench-lite-test

手動実行でいずれかのエージェントが必要なのに見つからない場合は、ユーザーに次を実行するよう伝えてください。

twg skills install --yes

その後、新しい Codex スレッドを開始し、エージェントの検出を更新してください。条件ごとの分離が重要なため、手動でのオーケストレーションに汎用エージェントを代用しないでください。

ライブ実行の前に、次を使ってセットアップを確認してください。

twg benchmark lite --check

このコマンドは、同梱されたランナーのアーティファクトと、選択したライブ実行ランタイムを確認します。Codex の確認には、Codex 実行ファイルと Codex のホームディレクトリが含まれます。Rovo の確認には、Rovo 実行ファイルと OAuth の状態が含まれます。--judge-agent が --agent と異なる場合は、両方のランタイムを確認します。また、グローバルな twg-bench-lite スキルのインストール状態と、管理対象の control／test Codex エージェント設定も、該当する場合は手動ワークフロー向けの任意確認項目として報告します。

条件

• コントロール - 無料の Atlassian とローカル MCP のコンテキスト： 無料の Atlassian ツールに加え、ユーザーのローカル MCP／コネクターを使います。プロンプトがローカルファイルを明示的に対象としていない限り、TWG CLI、TWG スキル、有料のグラフツール、以前のアーティファクト、ローカルファイルをタスクの根拠として使わないでください。
• テスト - 有料の Atlassian Teamwork Graph コンテキスト： 同梱された TWG ガイダンスを主要な業務データソースとして使い、TWG CLI のグラフコンテキストを利用します。

ペア実行

既定のライフサイクル全体を実行するには、次を実行します。

twg benchmark lite run --prompt "<read-only prompt>" --output-dir <dir>

同じライフサイクルを Rovo で実行するには、--agent rovo を使ってください。 --judge-agent codex|rovo を指定しない限り、品質評価ツールにも同じランタイムが使われます。

手動でオーケストレーションする場合：

1. 比較プロンプトをそのまま保存します。
2. ペアのエージェントを起動する前に、TWG CLI にテスト条件のルートを問い合わせます。 twg benchmark lite plan --prompt-file <prompt-file> --json
3. 分岐した親コンテキストを使わず、両方の管理対象エージェントを同時に起動します。 twg-bench-lite-control と twg-bench-lite-test
4. 同一のプロンプトを、完全なユーザーメッセージとして各子エージェントに送信します。条件ごとの指示を追加しないでください。分離は管理対象エージェントの設定で行います。 テストエージェントには、ツール選択の方針としてのみ TWG ルート計画を渡してかまいません。これは回答の根拠ではありません。
5. ユーザーが希望しない限り、モデルや推論の上書き設定は指定しないでください。上書きする場合は、両方の条件に同じ設定を適用します。
6. 両方の子エージェントが完了するまで待ち、エージェント ID またはセッションへのリンクを記録します。
7. 親エージェントでタスクを再度解かないでください。親エージェントは比較、評価、レポート作成を行います。

親セッションでライフサイクルの進捗を表示します：開始、プロンプト取得、エージェント起動、各条件の完了、出力の読み込み、品質の確認、レポートの作成、完了。

品質

トークン差分を解釈する前に、両方の回答を読んでください。equivalent、 twg-better、control-better、capability-gain、not-comparable のいずれかに分類してください。 not-comparable は、回答がない、使用できない、または比較できない場合の実際の結果であり、 プレースホルダーではありません。節約を確認できたと主張できるのは、equivalent または twg-better の場合のみです。capability-gain の場合は、代わりに能力向上を報告してください。

網羅性、正確性、根拠の質、直接性、制限事項を評価してください。 数値による品質スコアは付けないでください。

簡易レポート

親回答に、次の内容を含む簡潔なレポートを返してください。

• プロンプトのテキスト
• control/test のステータスと最終出力
• 観測されたツールの種類と、入手可能な場合は TWG コマンドの証拠
• エージェントのランタイムで取得できる場合は、トークン数／ツール数／所要時間の指標
• 品質分類とその理由
• 整合性に関する注記：プロンプトが同一であること、想定された役割、control で TWG が使われていないこと、test で TWG が使われていること、測定上の欠落事項

トークン数／セッション指標が取得できない場合は、「未測定」と記載してください。推定してはいけません。 結果は、普遍的な効率率ではなく、1 回のプロンプト比較で観測されたものとして説明してください。