mcpField
L
llm-risk-assess

llm-risk-assess

github.com/owasp安全208158 次安装2 周前更新
代码仓库

关于 llm-risk-assess

依据 OWASP Top 10 for LLM Applications 2025 评估 LLM 应用安全的技能，结合架构与威胁建模、自动化测试和红队情景，并生成包含发现与修复建议的报告。

主要功能

  1. 01梳理架构、数据流和信任边界
  2. 02运行自动化安全探测与扫描
  3. 03评估 OWASP 的十项 LLM 风险
  4. 04测试真实攻击和防御绕过
  5. 05报告发现与修复建议

适用场景

  1. 01评估 LLM 应用的攻击面
  2. 02测试提示词注入和输出处理
  3. 03检查 RAG 与向量数据库安全
  4. 04根据风险优先级规划修复

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/owasp/secure-agent-playbook --skill llm-risk-assess

安装后在 Claude Code 中输入/llm-risk-assess确认已加载。

详细介绍

大模型风险评估（2025）

依据 OWASP Top 10 for LLM Applications 2025 对大模型应用进行全面评估。请遵循 plays/llm-risk-assess.md 中的详细流程。

步骤

  1. 架构与威胁建模

    • 绘制大模型提供方（OpenAI、Anthropic、本地模型）
    • 记录数据流：用户输入 → 预处理 → 提示词构建 → 大模型 → 输出处理 → 操作
    • 识别 RAG 组件、工具集成、记忆系统
    • 定义信任边界和攻击面

  2. 自动化安全测试

    • 运行提示词注入探测（Garak、Giskard、自定义脚本）
    • 测试输出处理漏洞
    • 扫描提示词和配置中的机密
    • 验证向量数据库安全性

  3. 评估 OWASP LLM 2025 的全部 10 项风险，并设计攻击场景：

    • LLM01 提示词注入 — 直接/间接注入、越狱、目标劫持、分隔符绕过
    • LLM02 敏感信息泄露 — 训练数据泄露、个人身份信息（PII）暴露、系统信息提取、记忆中的机密
    • LLM03 供应链 — 模型投毒、恶意依赖项、不安全的插件、来源问题
    • LLM04 数据和模型投毒 — 训练数据投毒、RAG 投毒、嵌入操纵
    • LLM05 不当输出处理 — 通过大模型输出进行 XSS、命令注入、SQLi、路径遍历
    • LLM06 过度代理权限 — 未经授权的工具调用、权限提升、危险的操作链
    • LLM07 系统提示词泄露 — 提示词提取攻击、机密泄露、指令逆向工程
    • LLM08 向量和嵌入弱点 — 对抗性嵌入、检索投毒、相似性攻击
    • LLM09 错误信息 — 幻觉、权威性表达、依据不足、有害领域
    • LLM10 无限制消耗 — Token 耗尽、成本攻击、资源耗尽、DoS

  4. 红队测试

    • 尝试真实场景中的攻击
    • 测试防御绕过和规避技术
    • 验证防护措施和安全控制

输出

全面的大模型安全报告：

  • 包含信任边界的架构图
  • 风险矩阵（全部 10 个类别，含严重性/状态）
  • 详细发现及概念验证示例
  • 红队测试结果和绕过技术
  • 包含代码示例的修复路线图
  • 防御验证清单

OWASP 参考资料

  • OWASP Top 10 for LLM Applications 2025
  • OWASP AI Exchange（owaspai.org）
  • OWASP AI 测试指南
  • OWASP 速查表：提示词注入防护
  • OWASP 提示词注入分类（Arcanum）

评论

支持 Markdown