mcpField
A
ai-threat-testing

ai-threat-testing

github.com/transilienceai安全598197 次安装13 周前更新
代码仓库

关于 ai-threat-testing

ai-threat-testing 是用于授权评估 LLM 应用的安全技能，借助 10 个专用 Agent 测试 OWASP LLM Top 10 风险，并生成含证据和 PoC 的报告。

主要功能

  1. 01测试 OWASP LLM Top 10 风险
  2. 02使用 10 个专用 Agent
  3. 03收集证据和执行指标
  4. 04生成含 CVSS 与 PoC 的报告
  5. 05支持全面、定向和供应链审计

适用场景

  1. 01按 OWASP 类别评估 LLM 应用
  2. 02测试选定的 AI 漏洞类别
  3. 03审计依赖项、插件和模型来源

MCP 相关

该技能包含 MCP 工具滥用测试，涉及暴露的 MCP 检查和调试端点。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/transilienceai/communitytools --skill ai-threat-testing

安装后在 Claude Code 中输入/ai-threat-testing确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

reference/
adversarial-pixel-attacks.md
agentic-tool-hijacking.md
gradient-leakage-attacks.md
hopfield-recovery.md
llm01-prompt-injection.md
llm02-insecure-output.md
llm03-training-poisoning.md
llm04-resource-exhaustion.md
llm05-supply-chain.md
llm06-excessive-agency.md
llm07-model-extraction.md
llm08-vector-poisoning.md
llm09-overreliance.md
llm10-logging-bypass.md
malicious-keras-model-triage.md
reference/catalog/
llm-top10-2025.json
reference/scenarios/llm/
llm01-prompt-injection-direct.md
llm01-prompt-injection-indirect.md
llm02-insecure-output-handling.md
llm03-training-data-poisoning.md
llm04-denial-of-service.md
llm05-supply-chain-vulnerabilities.md
llm06-sensitive-info-disclosure.md
llm07-insecure-plugin-design.md
llm08-excessive-agency.md

详细介绍

AI 威胁测试

使用 10 个专用 Agent 测试大模型应用是否存在 OWASP LLM Top 10 漏洞。用于经授权的 AI 安全评估。

快速开始

1. Specify target (LLM app URL, API endpoint, or local model)
2. Select scope: Full OWASP Top 10 | Specific vulnerability | Supply chain
3. Agents deploy, test, capture evidence
4. Professional report with PoCs generated

覆盖范围 — OWASP LLM Top 10，2025 版

哪个文件对应哪个类别，由 reference/catalog/llm-top10-2025.json 决定，而非由 文件名决定。 磁盘上的 llmNN- 前缀早于 2025 年的重新编号，现在已不再匹配；内容正确，标签有误。引用 ID 时务必注明版本（LLM06:2025），因为单独的 LLM06 会因读者采用的版本不同而表示两个不同的类别。

类别攻击面
LLM01:2025 提示注入直接和间接注入、指令覆盖、过滤器绕过
LLM02:2025 敏感信息泄露训练数据和跨租户 RAG 泄露、金丝雀验证
LLM03:2025 供应链依赖项 CVE、模型来源、恶意序列化模型
LLM04:2025 数据和模型投毒后门触发、成员推断、行为异常
LLM05:2025 不当输出处理下游代码/XSS 注入、不安全反序列化
LLM06:2025 过度代理权限工具/插件滥用、权限提升、未经授权的操作——此类别针对的是 Agent，而非聊天机器人
LLM07:2025 系统提示词泄露缺口——尚无测试手册。 请参阅目录：提示词包含什么，与能否提取提示词，是两个独立的发现
LLM08:2025 向量和嵌入弱点RAG 注入、检索操纵、嵌入反演
LLM09:2025 错误信息输出受到依赖时的幻觉和置信度操纵
LLM10:2025 无限制消耗Token 泛洪、成本影响和模型提取/窃取（2025 年将通过查询进行提取视为消耗问题）

有两类可测试内容不属于 OWASP 类别，因此使用本地 TX- ID，而不是虚构的 LLMnn：监控规避/取证缺口，以及对非文本输入的对抗性扰动。tools/test_llm_numbering.py 会强制执行这一区分。

工作流

完整评估（4-8 小时）：

- [ ] Reconnaissance
- [ ] Deploy all 10 agents
- [ ] Execute exploits
- [ ] Capture evidence
- [ ] Generate report

重点测试（1-3 小时）：

- [ ] Select a category from the catalogue (LLM01:2025 .. LLM10:2025, or a TX- local class)
- [ ] Deploy agent
- [ ] Execute techniques
- [ ] Document findings

供应链审计（2-4 小时）：

- [ ] Inventory dependencies
- [ ] Scan CVEs
- [ ] Test plugins/APIs
- [ ] Verify model provenance

集成

通过 AI 专项测试增强 /pentest：

  • 传统渗透测试 + AI 威胁测试 = 完整的安全评估
  • 串联传统攻击面和 AI 攻击面中的漏洞
  • 使用 CVSS 评分进行统一报告

关键技术

提示注入：指令覆盖、系统提示词提取、过滤器绕过
模型提取：查询采样、Token 分析、成员推断
数据投毒：行为异常、后门触发、偏见分析
DoS：Token 泛洪、递归扩展、上下文耗尽
供应链：CVE 扫描、插件审计、模型验证
MCP 工具滥用：MCP 服务检查器/调试器通常会暴露 /api/mcp/connect 或类似端点，这些端点接受包含任意 command 参数的 serverConfig——可能导致未经身份验证的远程代码执行 (RCE)。检查非标准端口（6274、3000 等）上是否运行 MCP Inspector、MCP Playground 或任何 MCP 调试界面。

证据采集

所有 Agent 均会收集：屏幕截图、网络日志、API 响应、错误、控制台输出、执行指标。

报告

自动生成的报告包括：执行摘要、详细发现（CVSS 评分）、PoC 脚本、证据、修复指导。

关键规则

  • 测试前必须获得书面授权
  • 切勿超出定义的范围
  • 尽可能在隔离环境中测试
  • 使用可复现的 PoC 记录所有发现
  • 遵循负责任的披露惯例

集成

  • 与 /pentest 技能集成，进行全面安全测试
  • /AGENTS.md 中包含 AI 专项漏洞知识
  • reference/llm0X-*.md 中包含攻击测试手册

评论

支持 Markdown