pentest-ai-llm-security

ペンテスト：AI／LLM セキュリティ

目的

AI を統合したアプリケーションには、まったく新しい攻撃対象領域が生まれます。プロンプトインジェクションは「AI の SQLi」です。Shannon にも、既存のスキルにも、この領域に対応するものはありません。OWASP LLM Top 10（2025）が手法を定義しています。

前提条件

認可要件

• AI／LLM テストの範囲を明示的に含む書面による認可
• モデルへのアクセス詳細 — API エンドポイント、モデルのバージョン、ツール／関数へのアクセス
• データの機密性分類 — LLM がアクセスできるデータ
• レート制限の把握 — LLM API の費用は急速に膨らむ可能性があります

環境のセットアップ

• LLM の脆弱性を自動スキャンする Garak
• LLM リクエスト／レスポンスを傍受する Burp Suite
• カスタムプロンプトインジェクションペイロード用の Python スクリプト
• リクエスト／レスポンスの全チェーンを取得するローカルプロキシ

基本的なワークフロー

1. 統合ポイントの特定：チャットインターフェース、コンテンツ生成、RAG パイプライン、AI 検索、コード補完、要約など、すべての LLM 統合ポイントを特定します。
2. 直接プロンプトインジェクション：システムプロンプトを上書きし、その内容を抽出し、モデルの動作を変更する指示を注入します。
3. 間接プロンプトインジェクション：LLM が処理するドキュメント／メール／ウェブページに悪意ある指示を埋め込み、RAG コンテキストを汚染します。
4. データの持ち出し：学習データ、コンテキストウィンドウ内の PII、他のユーザーの会話履歴、システム設定の詳細を抽出します。
5. 安全でない出力処理：LLM の出力を HTML としてレンダリングする（LLM 経由の XSS）、SQL クエリに使用する（LLM 経由の SQLi）、またはシステムコマンドに使用します。
6. 過剰なエージェンシー：ツールへのアクセス権を持つ LLM による未認可の操作、ツールチェーンを介した権限昇格、リソースの悪用を確認します。
7. 分類：OWASP LLM Top 10（2025）の分類と修正ガイダンスに沿って調査結果を記録します。

OWASP LLM Top 10（2025）の対象範囲

カテゴリ	テスト対象	ステータス
LLM01 プロンプトインジェクション	直接・間接インジェクション	✅
LLM02 機密情報の漏えい	データの持ち出し、PII の漏えい	✅
LLM03 サプライチェーン	モデルの来歴、プラグインの信頼性	✅
LLM04 データおよびモデルの汚染	学習データの完全性	✅
LLM05 不適切な出力処理	LLM 出力経由の XSS／SQLi	✅
LLM06 過剰なエージェンシー	未認可のツール使用	✅
LLM07 システムプロンプトの漏えい	システムプロンプトの抽出	✅
LLM08 ベクトルおよび埋め込みの弱点	RAG の汚染	✅
LLM09 誤情報	ハルシネーションの悪用	✅
LLM10 無制限の消費	リソースの枯渇	✅

ツールのカテゴリ

カテゴリ	ツール	目的
LLM スキャン	Garak, rebuff	プロンプトインジェクションの自動テスト
API 傍受	Burp Suite, mitmproxy	LLM API のリクエスト／レスポンスの取得
プロンプトファジング	カスタム Python スクリプト	ペイロードの生成とテスト
出力分析	Browser DevTools, Burp	安全でない出力レンダリングの検出

参考資料

• references/tools.md - ツールの関数シグネチャとパラメーター
• references/workflows.md - 攻撃パターンの定義とテストベクター