llm-risk-assess

LLM リスク評価（2025）

OWASP Top 10 for LLM Applications 2025 に照らして、LLM アプリケーションを包括的に評価します。plays/llm-risk-assess.md の詳細な手順に従ってください。

手順

1. アーキテクチャと脅威モデリング

   • LLM プロバイダー（OpenAI、Anthropic、ローカルモデル）をマッピングする
   • データフローを記録する：ユーザー入力 → 前処理 → プロンプトの構築 → LLM → 出力処理 → アクション
   • RAG コンポーネント、ツール連携、メモリーシステムを特定する
   • 信頼境界と攻撃対象領域を定義する

2. 自動セキュリティテスト

   • プロンプトインジェクションのプローブを実行する（Garak、Giskard、カスタムスクリプト）
   • 出力処理の脆弱性をテストする
   • プロンプトと設定内のシークレットをスキャンする
   • ベクターデータベースのセキュリティを検証する

3. 攻撃シナリオを用いて、OWASP LLM 2025 の10件すべてのリスクを評価する：

   • LLM01 プロンプトインジェクション — 直接的／間接的なインジェクション、ジェイルブレイク、目標の乗っ取り、区切り文字のバイパス
   • LLM02 機密情報の漏えい — 学習データの漏えい、PII の露出、システム情報の抽出、記憶されたシークレット
   • LLM03 サプライチェーン — モデルのポイズニング、悪意のある依存関係、安全でないプラグイン、出所に関する問題
   • LLM04 データおよびモデルのポイズニング — 学習データのポイズニング、RAG のポイズニング、埋め込みの改ざん
   • LLM05 不適切な出力処理 — LLM の出力を介した XSS、コマンドインジェクション、SQLi、パストラバーサル
   • LLM06 過剰なエージェンシー — 無許可のツール呼び出し、権限昇格、危険なアクションの連鎖
   • LLM07 システムプロンプトの漏えい — プロンプト抽出攻撃、シークレットの開示、指示のリバースエンジニアリング
   • LLM08 ベクトルと埋め込みの脆弱性 — 敵対的な埋め込み、検索結果のポイズニング、類似性攻撃
   • LLM09 誤情報 — ハルシネーション、権威的な提示、根拠付けの失敗、有害なドメイン
   • LLM10 無制限の消費 — トークンの枯渇、コスト攻撃、リソースの枯渇、DoS

4. レッドチームテスト

   • 実環境を想定した攻撃シナリオを試みる
   • 防御のバイパスと回避手法をテストする
   • ガードレールと安全制御を検証する

出力

包括的な LLM セキュリティレポート：

• 信頼境界を示したアーキテクチャ図
• リスクマトリックス（10件すべてのカテゴリと重大度／ステータス）
• 概念実証の例を含む詳細な検出事項
• レッドチームテストの結果とバイパス手法
• コード例を含む修正ロードマップ
• 防御検証チェックリスト

OWASP の参考資料

• OWASP Top 10 for LLM Applications 2025
• OWASP AI Exchange（owaspai.org）
• OWASP AI Testing Guide
• OWASP チートシート：プロンプトインジェクションの防止
• OWASP Prompt Injection Taxonomy（Arcanum）