mcpField
R
reproduce-regression

reproduce-regression

github.com/trailofbitsテスト・品質7.9k163 回インストール今日更新
リポジトリ

reproduce-regression について

reproduce-regression は、同じ入力で実環境の S0 と S1 を比較し、回帰の疑いを検証するスキルです。ポータブルな PoC と封印済みの証拠パッケージが必要な調査に使い、合成テストやシミュレーションは対象外です。

主な機能

  1. 01入力とプロジェクトガイダンスの検証
  2. 02実際のインターフェースとデプロイの実行
  3. 03同じ入力による S0 と S1 の比較
  4. 04環境・コマンド・個別ログの記録
  5. 05再現証拠の封印

活用シーン

  1. 01二つのリビジョン間で候補の回帰を検証
  2. 02報告された問題が実際のインターフェースから到達可能か確認
  3. 03独立した再生用に再現可能な証拠を準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/trailofbits/skills --skill reproduce-regression

インストール後、Claude Code で/reproduce-regressionを入力して読み込まれたか確認します。

詳細

候補を再現する

使用する場面

入力:封印済みの準備/調査パッケージ、候補、レジストリの割り当て。 対象に取り組む前に、プロジェクトのガイダンスに従ってください。

使用しない場面

既存の PoC の独立した検証には、リプレイを使用してください。

再現

  1. 標準と ファイルの仕様を読みます。入力を検証し、セキュリティガイダンスを 読みます。前提条件を満たさない場合は、実行を中止してください。
  2. 必要なサービスを使用して、実際の S0/S1 をビルドして実行します。候補を、実際の ユーザー/攻撃者のエントリーポイントまでたどります。CLI とライブラリをビルド/インストールし、サポートされている インターフェースを試します。ビルドに関する指摘では、サポートされているビルドのワークフローを実行します。
  3. 同一の入力と比較可能な設定を使用して、稼働中の両方のデプロイに対する移植可能な PoC を作成し、実行します。S0 が正しく動作するか、S1 で主張された 不具合が発生するかを記録します。モック、抽出した関数、シミュレーションシステムは使用しないでください。
  4. セットアップ、ツール/依存関係のバージョン、サニタイズ済みの設定、入力、PoC、 リビジョン、コマンド、個別のログを保存します。観察結果と誤検知の確認内容を reproduce.jsonに記録します。作業が妨げられた場合は、試したセットアップと正確な前提条件を保持します。 ビルドとデプロイは試行ディレクトリ内でのみ行い、すべてのビルドディレクトリをbuild_dirsに記載してください。
  5. 証拠を削除せずに一時リソースを解放します。処理内容を記録してから、パッケージを封印します。

結果の報告

詳細な証拠は封印済みパッケージ内に保持します。返す内容は次の項目のみです。

  • ステータス:記録と一致するcompleteまたはblocked。
  • 記録:封印済みのreproduce.jsonのパス、または作成されなかった理由。
  • 結果:観察した S0/S1 の動作を説明する一文。
  • ブロッカー:blockedの場合、不足している前提条件または必要な呼び出し元の操作。

完了とは実験が終了したことを意味し、リグレッションが確認されたことを意味するものではありません。

却下すべき合理化

  • 「単体テストで証明されています」:合成テストではリグレッションを立証できません。

コメント