ai-redteam

AI レッドチーム

使用する場面

• リリース前のチャットボット、エージェント、RAG システム、コパイロットのレッドチームテスト
• 安全性評価スイートや敵対的テストハーネスの設計
• 報告されたプロンプトインジェクションやジェイルブレイクの脆弱性の再現
• インシデント後の緩和策の検証（フィルターの再テスト、強化）
• 複数ターンにわたる強要、エンコーディング、間接インジェクションのキャンペーン実施
• LLM アプリケーションにおけるバイアス、有害な出力、データ流出リスクの評価
• AI セキュリティテストのエンゲージメントルールと重大度基準の策定

使用しない場面

• 企業の AI ポリシーやリスクガバナンスフレームワークの作成 → ai-risk-governance
• 本番環境向け LLM 機能や RAG パイプラインの構築 → ai-engineer
• 一般的なネットワーク／AD／インフラの侵入テスト → network-pentester
• 認可を受けた Web/API OWASP テスト（LLM 以外）→ web-pentester
• エンタープライズ向け敵対者シミュレーション、MITRE ATT&CK キャンペーン、パープルチーム → red-team-specialist
• バイナリ、ファームウェア、プロトコルのリバースエンジニアリング → reverse-engineer
• CI/CD パイプラインのセキュリティ → devsecops

関連スキル

ニーズ	スキル
本番アーキテクチャと緩和策	ai-engineer
ガバナンス承認とリスク階層	ai-risk-governance
プロンプト設計のベースライン	prompt-engineer
CI パイプラインのセキュリティ	devsecops
Web/API OWASP 侵入テスト（LLM 以外）	web-pentester
ネットワーク／AD／インフラの侵入テスト（LLM 以外）	network-pentester
複数ドメインの侵入テスト（LLM 以外）	penetration-tester
エンタープライズレッドチーム／敵対者シミュレーション（LLM 以外）	red-team-specialist
セキュリティプログラムと侵入テストのガバナンス	cybersecurity
セーフガードの推論パスのデプロイ／監視	ml-infrastructure-engineer-safeguards
安全性ベンチマークと分類器のトレーニング	ml-research-engineer-safeguards
インシデント後のディスク／メモリ／ログのフォレンジックと証拠保全の連鎖	digital-forensics-analyst
LLM 以外のマルウェアやインプラントのバイナリ／プロトコル RE	reverse-engineer
AI の悪用後のセキュリティインシデント調整	incident-responder

主なワークフロー

1. スコープとエンゲージメントルール

1. 対象を定義します。モデル、アプリのインターフェース、ツール、データストア
2. 書面による承認と実施時間枠を取得します
3. スコープ外の事項に合意します（例：承認がない限り、従業員へのソーシャルエンジニアリングは行わない）
4. 成功基準を定義します。重大な発見事項、再現手順、重大度基準
5. 安全なテスト環境を計画します（本番環境の顧客データは使用しない）

ROE テンプレートと重大度の定義については、references/engagement_scope.md を参照してください。

2. LLM アプリケーションの脅威モデル

分類	例
プロンプトインジェクション	ユーザーやドキュメントの内容に含まれる指示がシステムポリシーを上書きする
ジェイルブレイク	ロールプレイ、エンコーディング、複数ターンにわたる強要
ツールの悪用	不正な API 呼び出し、パラメーターインジェクション
データ流出	RAG が他のテナントのチャンクを漏えいする、ログに PII が含まれる
サプライチェーン	悪意のあるツール定義、侵害されたプラグイン
サービス拒否	トークンの浪費、エージェントの再帰ループ

手法の種類とテスト用プロンプトについては、references/attack_catalog.md を参照してください（倫理的に使用してください）。

3. テストの実施

フェーズ：

1. ベースライン — 想定される拒否動作と許可される動作を記録します
2. 自動スイープ — 厳選した攻撃セットとファズ変異を使ったハーネスを実行します
3. 手動での工夫 — ドメイン固有の悪用シナリオを検討します
4. ツール／RAG に注力 — 検索されたドキュメントを介した間接インジェクションをテストします
5. 回帰テスト — 緩和策の適用後に再実行します

入力、出力、ツール呼び出し、レイテンシ、ガードレールが作動したかどうかを記録します。

ハーネス設計とデータセットについては、references/testing_harness.md を参照してください。

4. 報告

各発見事項には、次の内容を含めます。

• タイトルと重大度（影響度 × 発生可能性）
• 再現手順（最小限）
• 証拠（機密情報を削除したトランスクリプト）
• 影響を受けるコンポーネント
• 推奨される緩和策
• 再テストの基準

レポートのテンプレートと修正状況の追跡については、references/reporting.md を参照してください。

5. 緩和策の検証

緩和策	再テスト
入出力フィルター	言い換えによる回避の試行
システムプロンプトの強化	RAG コンテキスト経由のインジェクション
ツールの許可リスト	Confused deputy と権限範囲の拡大
人間による承認ゲート	自動エージェントの回避経路

防御の多層化と、既知の効果が弱い制御については references/mitigations.md を参照してください。

参照情報を読み込むタイミング

• ROE とスコープ → references/engagement_scope.md
• 攻撃の種類 → references/attack_catalog.md
• ハーネスと自動化 → references/testing_harness.md
• レポート → references/reporting.md
• 防御策 → references/mitigations.md