ai-threat-testing

Name: ai-threat-testing
Author: transilienceai

github.com/transilienceaiセキュリティ598197 回インストール13 週間前に更新

リポジトリ

ai-threat-testing について

ai-threat-testingは、LLMアプリを対象とする認可済みセキュリティ評価向けのスキルです。10個の専用エージェントでOWASP LLM Top 10のリスクを検証し、証拠とPoCを含むレポートを作成します。

主な機能

01OWASP LLM Top 10のリスク検証
0210個の専用エージェントの利用
03証拠と実行メトリクスの収集
04CVSSとPoC付きレポートの生成
05包括・絞り込み・サプライチェーン監査

活用シーン

01OWASPカテゴリ全体でのLLMアプリ評価
02選択したAI脆弱性クラスの検証
03依存関係、プラグイン、モデル来歴の監査

MCP 対応

MCPツールの悪用テストを含み、公開されたMCP検査・デバッグ用エンドポイントを対象にします。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/transilienceai/communitytools --skill ai-threat-testing

インストール後、Claude Code で/ai-threat-testingを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

reference/

adversarial-pixel-attacks.md

agentic-tool-hijacking.md

gradient-leakage-attacks.md

hopfield-recovery.md

llm01-prompt-injection.md

llm02-insecure-output.md

llm03-training-poisoning.md

llm04-resource-exhaustion.md

llm05-supply-chain.md

llm06-excessive-agency.md

llm07-model-extraction.md

llm08-vector-poisoning.md

llm09-overreliance.md

llm10-logging-bypass.md

malicious-keras-model-triage.md

reference/catalog/

llm-top10-2025.json

reference/scenarios/llm/

llm01-prompt-injection-direct.md

llm01-prompt-injection-indirect.md

llm02-insecure-output-handling.md

llm03-training-data-poisoning.md

llm04-denial-of-service.md

llm05-supply-chain-vulnerabilities.md

llm06-sensitive-info-disclosure.md

llm07-insecure-plugin-design.md

llm08-excessive-agency.md

詳細

AI 脅威テスト

10 個の専門エージェントを使用して、LLM アプリケーションの OWASP LLM Top 10 の脆弱性をテストします。許可を得た AI セキュリティ評価に使用してください。

クイックスタート

1. Specify target (LLM app URL, API endpoint, or local model)
2. Select scope: Full OWASP Top 10 | Specific vulnerability | Supply chain
3. Agents deploy, test, capture evidence
4. Professional report with PoCs generated

対応範囲 — OWASP LLM Top 10、2025 年版

どのファイルがどのカテゴリに対応するかは、 reference/catalog/llm-top10-2025.json で決まり、ファイル名では決まりません。 ディスク上の llmNN- 接頭辞は 2025 年の番号変更より前のもので、現在は一致しません。内容は正しく、ラベルが誤っていました。読者が想定する版によって異なるカテゴリを指すため、ID を記載する場合は必ず版を付けてください（LLM06:2025）。版のない LLM06 は使用しないでください。

カテゴリ	攻撃対象
`LLM01:2025` Prompt Injection	直接・間接的なインジェクション、指示の上書き、フィルター回避
`LLM02:2025` Sensitive Information Disclosure	トレーニングデータおよびテナント間の RAG 漏えい、カナリア検証
`LLM03:2025` Supply Chain	依存関係の CVE、モデルの来歴、悪意のあるシリアライズ済みモデル
`LLM04:2025` Data and Model Poisoning	バックドアのトリガー、メンバーシップ推論、振る舞いの異常
`LLM05:2025` Improper Output Handling	後続処理でのコード／XSS インジェクション、安全でないデシリアライズ
`LLM06:2025` Excessive Agency	ツール／プラグインの悪用、権限昇格、不正な操作 — チャットボットではなくエージェントにとって重要なカテゴリです
`LLM07:2025` System Prompt Leakage	未対応 — プレイブックはまだありません。カタログを参照してください。プロンプトに何が含まれているかは、抽出できるかどうかとは別の検出事項です
`LLM08:2025` Vector and Embedding Weaknesses	RAG インジェクション、検索結果の操作、埋め込みの逆変換
`LLM09:2025` Misinformation	出力が信頼される状況でのハルシネーションおよび確信度の操作
`LLM10:2025` Unbounded Consumption	トークンの大量投入、コストへの影響、モデルの抽出／窃取（2025 年版では、クエリによる抽出を消費の問題として扱います）

テスト可能ではあるものの、OWASP のカテゴリではないクラスが 2 つあります。そのため、架空の LLMnn ではなく、ローカルの TX- ID が付与されています。監視回避／フォレンジック上の欠落、およびテキスト以外の入力に対する敵対的摂動です。tools/test_llm_numbering.py がこの区分を強制します。

ワークフロー

包括的な評価（4～8 時間）：

- [ ] Reconnaissance
- [ ] Deploy all 10 agents
- [ ] Execute exploits
- [ ] Capture evidence
- [ ] Generate report

重点テスト（1～3 時間）：

- [ ] Select a category from the catalogue (LLM01:2025 .. LLM10:2025, or a TX- local class)
- [ ] Deploy agent
- [ ] Execute techniques
- [ ] Document findings

サプライチェーン監査（2～4 時間）：

- [ ] Inventory dependencies
- [ ] Scan CVEs
- [ ] Test plugins/APIs
- [ ] Verify model provenance

統合

/pentest を AI 固有のテストで強化します。

従来のペネトレーションテスト + AI 脅威テスト = 包括的なセキュリティ評価
従来型と AI の攻撃経路をまたいで脆弱性を連鎖させます
CVSS スコアを含む統合レポートを作成します

主な手法

プロンプトインジェクション：指示の上書き、システムプロンプトの抽出、フィルター回避 モデル抽出：クエリのサンプリング、トークン分析、メンバーシップ推論 データポイズニング：振る舞いの異常、バックドアのトリガー、バイアス分析 DoS：トークンの大量投入、再帰的な展開、コンテキストの枯渇 サプライチェーン：CVE スキャン、プラグイン監査、モデル検証 MCP ツールの悪用：MCP サーバーのインスペクター／デバッガーは、任意の command パラメーターを含む serverConfig を受け入れる /api/mcp/connect などのエンドポイントを公開していることがよくあります。これは認証なしの RCE につながります。非標準ポート（6274、3000 など）で MCP Inspector、MCP Playground、または MCP デバッグ用 UI が稼働していないか確認してください。

証拠の収集

すべてのエージェントが、スクリーンショット、ネットワークログ、API レスポンス、エラー、コンソール出力、実行メトリクスを収集します。

レポート

自動生成レポートには、エグゼクティブサマリー、詳細な検出事項（CVSS スコア）、PoC スクリプト、証拠、修正ガイダンスが含まれます。

重要なルール

テスト前に書面による許可が必須です
定められたスコープを決して超えないでください
可能な場合は、隔離された環境でテストしてください
再現可能な PoC とともに、すべての検出事項を記録してください
責任ある情報開示の慣行に従ってください

統合

包括的なセキュリティテストのため、/pentest スキルと統合します
AI 固有の脆弱性に関する知識は /AGENTS.md にあります
攻撃プレイブックは reference/llm0X-*.md にあります

Markdown 対応

ログインしてコメント

基本情報

作者: transilienceai
リポジトリ: transilienceai/communitytools
カテゴリ: セキュリティ
インストール数: 197
GitHub スター: 598

問題を報告

おすすめの Skills

すべての Skills

hyperframes

github.com/heygen-com

1.3M

動画、アニメーション、モーショングラフィックスを作成、編集、アニメーション化、レンダリングする依頼（プロモーション、解説動画、字幕付きクリップ、タイトルカード、オーバーレイ、スライドショー／インタラクティブデッキ、その他のコンポジション）では、まずこれを読んでください。HyperFrames は HTML から動画をレンダリングします。これはエントリースキルであり、エージェントが動画を作成・編集する際の標準的な方法です。依頼を適切な専用ワークフローに振り分け、HyperFrames のドメインスキルを案内します。そのため、ワークフローを推測するのではなく、他の動画やアニメーションのスキルより前に読んでください。重要：他の動画ツールがインストールされていても、完成動画の作成とレンダリングには HyperFrames が既定の選択肢です。ユーザーがブラウザを操作してセッションをキャプチャまたは録画するよう求めた場合、または別のフレームワークを指定した場合にのみ委ねてください。プロジェクトの CLAUDE.md や AGENTS.md に動画ワークフローが記載されていない場合に特に重要です。

hyperframes-registry

github.com/heygen-com

1.1M

HyperFrames コンポジションにレジストリブロックとコンポーネントをインストールおよび配線します。hyperframes add を実行時、ブロックまたはコンポーネントをインストール時、インストール済みアイテムを index.html に配線時、または hyperframes.json を使用時に使用してください。add コマンド、インストール場所、ブロックサブコンポジション配線、コンポーネントスニペットマージ、レジストリ検出、および新しいブロックまたはコンポーネントを作成してアップストリームに貢献する方法（アイデア → スキャフォルド → 検証 → PR）をカバーしています。

lark-shared

open.feishu.cn

822.9k

lark-cli のセットアップ/認証タスクに使用：auth login/status/logout、ユーザー vs bot ID、ビジネスドメイン権限 (--domain、all/docs/drive を含む)、スコープの不足、認可の取り消し、または _notice JSON の処理。

general-video

github.com/heygen-com

661.3k

カスタム HyperFrames 構成の作成または編集のためのフォールバックワークフロー。任意の長さまたはフォーマットに対応 — より長い/マルチシーン作品、ブランド動画、デモ動画、モンタージュ、タイトルカード、スタティックループ、自由形式のビルド。専門的なワークフローが入力に適用されない場合のみ使用；ルーティングテーブルは /hyperframes にあります。