mcpField
O
owasp-ai-testing

owasp-ai-testing

github.com/mastepanoski测试与质量59233 次安装今天更新
代码仓库

关于 owasp-ai-testing

owasp-ai-testing 是一项供 AI Agent 使用的测试技能，依据 OWASP AI Testing Guide v1 对 AI 系统开展可信度评估。它以四层、32 个测试用例覆盖传统安全之外的公平性、隐私、可靠性等问题，并提供范围控制与报告流程。

主要功能

  1. 01覆盖应用、模型、基础设施和数据四层
  2. 02提供 32 个测试用例及选择指引
  3. 03包含风险评估与整改建议
  4. 04支持审计报告和重复测试规划

适用场景

  1. 01部署前检查 AI 系统可信度
  2. 02为 RAG、聊天机器人或 Agent 设计测试
  3. 03开展经授权的 AI 红队演练
  4. 04为 AI 安全审计整理评估结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/mastepanoski/claude-skills --skill owasp-ai-testing

安装后在 Claude Code 中输入/owasp-ai-testing确认已加载。

附带文件references/report-template.mdreferences/test-cases.md

详细介绍

OWASP AI Testing Guide

此技能可让 AI Agent 使用 OWASP AI Testing Guide v1 对 AI 系统开展系统化可信性测试。该指南由 OWASP Foundation 于 2025 年 11 月发布。

AI Testing Guide 是业界首个面向 AI 可信性测试的开源标准。与用于识别存在哪些风险的漏洞清单不同，该指南提供了切实可行、可重复的方法，说明如何测试 AI 系统。指南共设立 4 个层级的 32 个测试用例，每个用例均包含目标、测试负载、可观察到的响应和修复指导。

指南的核心原则是：“安全性并不足够，AI 可信性才是真正的目标。” AI 系统的故障原因不止传统安全问题，还包括偏见、幻觉、目标偏离、透明度不足和数据质量问题。

使用此技能执行全面的 AI 测试、验证可信性控制措施、准备审计，并为 AI 系统构建可重复的测试套件。

可结合 “OWASP LLM Top 10” 识别漏洞、结合 “NIST AI RMF” 管理风险，或结合 “ISO 42001 AI Governance” 满足治理合规要求。

何时使用此技能

在以下情况下调用此技能：

  • 对 AI/ML 系统执行渗透测试
  • 在生产部署前验证 AI 可信性
  • 为 AI 应用构建自动化测试套件
  • 针对 AI 功能开展红队演练
  • 准备 AI 安全审计或认证
  • 测试 RAG 系统、聊天机器人、Agent 或 ML 流水线
  • 评估模型的稳健性和抵御对抗性攻击的能力
  • 评估数据质量、偏见和隐私合规性
  • 验证 AI 供应链安全
  • 在模型更新、微调或数据变更后进行测试

所需输入

执行此测试指南时，请收集：

  • ai_system_description：AI 系统描述（类型、用途、架构、所用模型）[必填]
  • system_architecture：技术架构（API、模型、向量存储、插件、数据流水线）[可选，但建议提供]
  • testing_scope：要测试的层级（应用、模型、基础设施、数据或全部）[可选，默认为全部]
  • model_details：模型提供商、版本、微调详情、托管方式（云端/可自托管）[可选]
  • data_details：训练数据来源、向量数据库、数据流水线[可选]
  • existing_controls：当前的安全和可信性措施[可选]
  • risk_context：数据敏感性、法规要求、部署场景[可选]
  • testing_authorization：主动测试所需的明确授权、环境和边界[对实时或主动测试为必填]
  • safe_testing_mode：仅文档审查、预发布环境、生产只读或经批准的生产测试[可选；除非授权明确，否则默认为仅文档审查]

授权测试边界

仅对用户拥有或明确获准测试的系统运行主动测试。如果缺少 testing_authorization 或其内容不明确，请将工作限制在架构审查、清单评估和安全的假设性测试负载示例上。

对于生产系统：

  • 优先采用只读验证或预发布环境
  • 除非已明确获得书面授权并界定范围，否则不要尝试破坏性测试、持久化测试、拒绝服务测试或数据外泄测试
  • 在报告中编辑凭据、机密、PII 和敏感输出
  • 如果测试超出批准范围，请停止并报告

4 层测试框架

OWASP AI Testing Guide 将 32 个测试用例划分为以下四个层级：

┌─────────────────────────────────────────┐
│        AI Application Layer             │
│   (AITG-APP-01 to AITG-APP-14)         │
│   Prompts, interfaces, outputs, agency  │
├─────────────────────────────────────────┤
│        AI Model Layer                   │
│   (AITG-MOD-01 to AITG-MOD-07)         │
│   Robustness, alignment, privacy       │
├─────────────────────────────────────────┤
│        AI Infrastructure Layer          │
│   (AITG-INF-01 to AITG-INF-06)         │
│   Supply chain, resources, boundaries  │
├─────────────────────────────────────────┤
│        AI Data Layer                    │
│   (AITG-DAT-01 to AITG-DAT-05)         │
│   Training data, privacy, diversity    │
└─────────────────────────────────────────┘

测试用例

本指南针对四个层级定义了 32 个测试用例。每个用例都包含目标、载荷／步骤、可观察到的响应、严重性指引和修复措施。完整目录（包含载荷和 P0–P2 优先级索引）见 references/test-cases.md。测试时请阅读对应层级的章节，不必一次性加载全部 32 个用例。

层级前缀用例数重点
1. 应用AITG-APP14提示词、接口、输出、自主性
2. 模型AITG-MOD7稳健性、对齐、隐私
3. 基础设施AITG-INF6供应链、资源、边界
4. 数据AITG-DAT5训练数据、隐私、多样性

根据系统类型选择用例（参见步骤 1）：LLM／聊天机器人 → 所有 APP 用例 + INF-01/02/03；ML 分类器 → 所有 MOD 用例 + DAT-03/04；RAG → APP-02/03/08 + DAT-01/02；Agent → APP-06 + INF-03/04；始终包含 DAT-05（隐私／同意）。

测试流程

步骤 1：范围界定与规划（15 分钟）

  1. 了解系统：

    • 查看 ai_system_description 和 system_architecture
    • 识别 AI 组件、数据流和信任边界
    • 根据系统类型确定适用的测试用例

  2. 选择测试用例：

    • 对于 LLM／聊天机器人系统：优先执行 AITG-APP（全部）和 AITG-INF-01/02/03
    • 对于 ML 分类器：优先执行 AITG-MOD（全部）和 AITG-DAT-03/04
    • 对于 RAG 系统：优先执行 AITG-APP-02/03/08 和 AITG-DAT-01/02
    • 对于 AI Agent：优先执行 AITG-APP-06 和 AITG-INF-03/04
    • 对于所有系统：包含 AITG-DAT-05（隐私合规）

  3. 准备测试环境：

    • 确定测试工具和框架
    • 设置监控和日志记录
    • 建立基线测量值
步骤 2：执行测试用例（60-90 分钟）

按层级执行选定的测试用例：

应用层（25-35 分钟）

  • 根据系统类型运行 AITG-APP 测试
  • 记录发现并附上证据（截图、日志、载荷）
  • 记录每项发现的严重性和可利用性

模型层（15-20 分钟）

  • 运行 AITG-MOD 测试，检查稳健性和对齐情况
  • 记录行为异常
  • 测试抵御对抗性攻击的能力

基础设施层（10-15 分钟）

  • 运行 AITG-INF 测试，检查供应链和边界
  • 验证完整性控制措施
  • 测试资源限制

数据层（10-20 分钟）

  • 运行 AITG-DAT 测试，检查隐私和质量
  • 审核数据治理
  • 验证合规控制措施
步骤 3：风险评估（15 分钟）

为每项发现评分：

严重性描述响应时间
严重可利用且影响重大的漏洞立即
高风险显著，利用难度中等7 天
中风险中等，需要特定条件30 天
低风险轻微，影响有限90 天
信息观察结果，无即时风险待办事项
步骤 4：生成报告（20 分钟）

将发现整理成结构化报告。

输出格式

将结果整理到 OWASP AI Testing 评估报告中。可直接复制的模板见 references/report-template.md。

报告涵盖：

  1. 执行摘要 — 整体可信度评级、测试覆盖表（按层级列出已执行／通过／失败／不适用的数量）、关键发现
  2. 详细测试结果 — 每个用例的结果（PASS／FAIL／PARTIAL／N/A）、严重性、证据、发现、建议
  3. 修复路线图 — 按严重性分阶段安排（严重：0–7 天／高：7–30 天／中：30–90 天）
  4. 可信度评估 — 安全性、公平性、隐私、可靠性、可解释性和安全保障方面的状态
  5. 后续步骤 — 修复、重新测试、CI/CD 集成、持续监控

资源

最佳实践

  1. 尽早并频繁测试：将 AI 测试纳入开发生命周期
  2. 分层测试：覆盖全部 4 个层面，而不仅仅是应用层
  3. 尽可能自动化：在 CI/CD 中构建可重复执行的测试套件
  4. 换位思考，像攻击者一样思考：以对抗性思维设计测试
  5. 超越安全性：测试公平性、可解释性和可靠性
  6. 记录一切：保留证据，以满足合规和审计要求
  7. 变更后重新测试：模型更新、微调和数据变更都需要重新测试
  8. 持续监控：生产环境监控可补充定期测试
  9. 紧跟最新动态：AI 攻击技术发展迅速
  10. 让不同背景的测试人员参与：纳入安全、ML、伦理和领域专家的视角

版本

1.0 - 首次发布（OWASP AI Testing Guide v1，2025 年 11 月）

请牢记：AI 可信度测试超越了传统安全范畴。安全但存在偏见、不透明或不可靠的 AI 系统并不值得信赖。应从可信度的各个维度进行全面测试。

评论

支持 Markdown