mcpField
O
owasp-llm-top10

owasp-llm-top10

github.com/mastepanoski安全59394 次安装今天更新
代码仓库

关于 owasp-llm-top10

供 AI Agent 按照《OWASP Top 10 for LLM Applications 2025》评估 LLM 与生成式 AI 应用安全的技能。它指导漏洞审查、风险排序和整改规划,并要求主动测试仅限获授权的范围。

主要功能

  1. 01评估 OWASP 的 10 类 LLM 风险
  2. 02审查架构与威胁面
  3. 03漏洞风险评分与排序
  4. 04生成整改导向的审计报告
  5. 05明确授权与安全测试边界

适用场景

  1. 01部署前审查 LLM 应用
  2. 02评估 RAG 或聊天机器人的安全性
  3. 03检查第三方 AI 集成
  4. 04准备 AI 安全事件评审

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/mastepanoski/claude-skills --skill owasp-llm-top10

安装后在 Claude Code 中输入/owasp-llm-top10确认已加载。

附带文件references/llm-vulnerabilities.mdreferences/report-template.md

详细介绍

LLM 应用 OWASP Top 10 安全审计

此技能可帮助 AI Agent 使用 OWASP GenAI 安全项目发布的 LLM 应用 OWASP Top 10(2025),对大语言模型(LLM)和生成式 AI 应用进行全面的安全评估。

LLM 应用 OWASP Top 10 指出了集成大语言模型的系统中最严重的安全风险,涵盖从提示词注入到无界资源消耗等漏洞。这是 LLM 应用安全领域权威的行业标准。

使用此技能识别安全漏洞、评估风险暴露、确定修复优先级,并为 AI 驱动的应用建立安全开发实践。

结合使用“NIST AI RMF”进行全面风险管理,或使用“ISO 42001 AI Governance”满足治理合规要求。

何时使用此技能

在以下情况下调用此技能:

  • 部署前审计由 LLM 驱动的应用的安全性
  • 审查 GenAI 集成中的安全漏洞
  • 评估 RAG(检索增强生成)系统
  • 评估聊天机器人或 AI 助手的安全性
  • 对 AI 功能进行渗透测试
  • 构建安全的 AI 应用架构
  • 审查第三方 AI API 集成
  • 为安全合规审查做准备
  • 响应 AI 相关安全事件

所需输入

执行此审计时,请收集:

  • application_description:AI 应用的描述(用途、使用的 LLM、架构、功能、用户群体)[必填]
  • architecture_details:系统架构(API、数据库、向量存储、插件、集成)[可选,但建议提供]
  • llm_provider:LLM 提供商和模型(OpenAI GPT-4、Anthropic Claude、可自托管等)[可选]
  • deployment_context:部署环境(云端、本地、混合、边缘)[可选]
  • data_sensitivity:处理的数据类型(PII、财务、健康、专有数据)[可选]
  • existing_controls:当前安全措施(身份验证、速率限制、内容过滤)[可选]
  • specific_concerns:已知漏洞或重点关注领域[可选]
  • testing_authorization:主动测试的明确授权、环境和范围[对线上或主动测试为必填]
  • safe_testing_mode:documentation-only、staging、production-readonly 或 production-approved [可选;默认仅限文档审查,除非授权明确]

授权测试范围

仅对用户拥有或明确获准测试的系统运行主动安全测试。如果缺少授权或授权不明确,则只进行文档和架构审查,并使用安全的假设示例,而非执行实时载荷。

对于生产系统:

  • 优先选择预发布环境或只读验证
  • 除非书面范围明确允许,否则避免拒绝服务、破坏性、持久化或真实数据外泄测试
  • 在报告中隐去凭据、密钥、PII 以及敏感的提示词或模型输出
  • 如果测试超出批准范围,请停止并报告

LLM 应用 OWASP Top 10(2025)

各项漏洞的说明、攻击场景、检测检查项和缓解措施见 references/llm-vulnerabilities.md。请阅读与应用架构相关的条目。

ID漏洞
LLM01提示词注入
LLM02敏感信息泄露
LLM03供应链漏洞
LLM04数据和模型投毒
LLM05输出处理不当
LLM06权限过度
LLM07系统提示词泄露
LLM08向量和嵌入弱点
LLM09错误信息
LLM10无界消耗

审计流程

步骤 1:应用理解(15 分钟)
  1. 系统清单:

    • 记录大模型提供商、模型版本和配置
    • 梳理应用架构(API、数据库、向量存储)
    • 识别所有与大模型之间的数据流
    • 列出插件、工具和集成
  2. 威胁建模:

    • 识别攻击面(用户输入、API、数据源)
    • 确定数据敏感度分类
    • 梳理组件之间的信任边界
    • 识别大模型可以触发的特权操作
步骤 2:漏洞评估(40-60 分钟)

针对以下 10 个漏洞逐一评估:

提示词注入(LLM01)— 10 分钟
  • 使用已知注入技术进行测试(直接和间接)
  • 尝试覆盖系统指令
  • 使用外部数据源中的恶意内容进行测试
  • 验证输入校验和清理
敏感信息泄露(LLM02)— 5 分钟
  • 尝试提取训练数据
  • 测试输出中是否泄露个人身份信息(PII)
  • 检查凭据或 API 密钥是否暴露
  • 验证输出过滤的有效性
供应链(LLM03)— 5 分钟
  • 审查模型来源和出处
  • 检查依赖项版本和漏洞状态
  • 验证插件和集成的安全性
  • 审查 SBOM 的完整性
数据/模型投毒(LLM04)— 5 分钟
  • 审查数据管道的安全性
  • 检查微调数据校验
  • 验证模型完整性监控
  • 使用已知触发模式进行测试
不当输出处理(LLM05)— 10 分钟
  • 测试能否通过大模型输出实施 XSS
  • 尝试通过模型响应实施 SQL 注入
  • 检查命令注入的可能性
  • 验证输出清理和编码
过度代理权限(LLM06)— 5 分钟
  • 审查 Agent 的权限和能力
  • 测试权限边界
  • 验证关键操作是否有人参与审核
  • 检查审计日志的完整性
系统提示词泄露(LLM07)— 5 分钟
  • 尝试提取系统提示词
  • 检查提示词中是否包含机密信息
  • 验证提示词保护机制
向量/嵌入弱点(LLM08)— 5 分钟
  • 审查向量存储的访问控制
  • 测试 RAG 检索是否存在注入风险
  • 验证数据隔离和过滤
错误信息(LLM09)— 5 分钟
  • 测试关键领域是否存在幻觉
  • 验证依据和引用机制
  • 检查置信度指标
无限制消耗(LLM10)— 5 分钟
  • 测试速率限制的有效性
  • 验证令牌和费用上限
  • 检查超时配置
步骤 3:风险评分(15 分钟)

针对发现的每个漏洞,按以下标准评分:

可能性:漏洞被利用的可能性有多大?

  • 高:存在已知攻击途径、易于利用、可公开访问
  • 中:需要一定技能或特定条件
  • 低:难以利用、攻击面有限

影响:可能造成什么损害?

  • 严重:系统失陷、重大数据泄露、重大经济损失
  • 高:未授权访问、数据暴露、服务中断
  • 中:有限的数据暴露、部分服务受影响
  • 低:轻微信息泄露、影响极小
步骤 4:生成报告(20 分钟)

编制全面的安全评估报告。


输出格式

可直接复制使用的审计报告模板(执行摘要、各漏洞的发现、风险评分、修复计划)见 references/report-template.md。


快速参考:漏洞优先级

优先级漏洞理由
P0LLM01(提示词注入)、LLM02(数据泄露)可直接利用,影响重大
P1LLM05(输出处理)、LLM06(过度自主性)可能导致系统遭到入侵
P2LLM03(供应链)、LLM04(投毒)利用难度较高,但影响严重
P3LLM07(提示词泄露)、LLM08(向量弱点)为进一步攻击提供便利
P4LLM09(错误信息)、LLM10(无界消耗)运营风险

最佳实践

  1. 纵深防御:切勿依赖单一安全控制措施
  2. 对大模型输出实行零信任:将所有模型输出视为不可信内容
  3. 最小权限:尽量减少 AI Agent 的权限和能力
  4. 持续监控:记录异常 AI 行为并发出警报
  5. 对抗性测试:定期针对 AI 功能开展红队演练
  6. 保护流水线安全:保护训练数据、模型和嵌入
  7. 人工监督:对关键操作保留人工参与环节
  8. 定期更新:及时了解不断演变的攻击技术
  9. 教育用户:培训用户安全地与 AI 交互
  10. 制定事件预案:制定 AI 专属事件响应流程

版本

1.0 - 初始版本(OWASP 2025 年大模型应用十大风险)


请牢记:大模型安全是一个不断发展的领域。新的攻击向量层出不穷。本次审计提供基线评估;要维持安全态势,必须持续监控并定期重新评估。

评论

支持 Markdown