mcpField
A
ai-redteam

ai-redteam

github.com/rade-nugroho安全1242 次安装23 周前更新
代码仓库

关于 ai-redteam

ai-redteam 是面向安全人员的技能，用于测试聊天机器人、Agent、RAG 系统和 Copilot 等 LLM 应用。它涵盖范围界定、对抗性测试、可复现报告及缓解措施复测。

主要功能

  1. 01界定范围与测试规则
  2. 02建立 LLM 应用威胁模型
  3. 03执行自动化和手动攻击测试
  4. 04编写含复现步骤的报告
  5. 05复测缓解措施与防护机制

适用场景

  1. 01上线前测试聊天机器人
  2. 02复现提示词注入或越狱问题
  3. 03评估 RAG 泄漏和工具滥用
  4. 04验证 AI 安全事件后的修复

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/rade-nugroho/agentic-enteprises-skill --skill ai-redteam

安装后在 Claude Code 中输入/ai-redteam确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
attack_catalog.md
engagement_scope.md
mitigations.md
reporting.md
testing_harness.md

详细介绍

AI 红队

适用场景

  • 在聊天机器人、Agent、RAG 系统或副驾驶上线前进行红队测试
  • 设计安全评估套件和对抗性测试框架
  • 复现已报告的提示注入或越狱漏洞
  • 事件发生后验证缓解措施（重新测试过滤器、强化防护）
  • 开展多轮胁迫、编码或间接注入攻击
  • 评估大模型应用中的偏见、有害输出或数据泄露风险
  • 为 AI 安全测试明确交战规则和严重性评定标准

不适用场景

  • 编写企业 AI 政策或风险治理框架 → ai-risk-governance
  • 构建生产级大模型功能或 RAG 流水线 → ai-engineer
  • 通用网络／AD／基础设施渗透测试 → network-pentester
  • 经授权的 Web/API OWASP 测试（非大模型）→ web-pentester
  • 企业对抗模拟、MITRE ATT&CK 攻击行动、紫队演练 → red-team-specialist
  • 二进制文件、固件或协议逆向工程 → reverse-engineer
  • CI/CD 流水线安全 → devsecops

相关技能

需求技能
生产架构和缓解措施ai-engineer
治理审批和风险等级ai-risk-governance
提示词设计基线prompt-engineer
CI 流水线安全devsecops
Web/API OWASP 渗透测试（非大模型）web-pentester
网络／AD／基础设施渗透测试（非大模型）network-pentester
多领域渗透测试（非大模型）penetration-tester
企业红队／对抗模拟（非大模型）red-team-specialist
安全计划和渗透测试治理cybersecurity
部署／监控防护措施的推理路径ml-infrastructure-engineer-safeguards
安全基准和分类器训练ml-research-engineer-safeguards
事件后的磁盘／内存／日志取证和证据保管链digital-forensics-analyst
非大模型恶意软件或植入程序的二进制／协议逆向工程reverse-engineer
AI 滥用事件后的安全事件协调incident-responder

核心工作流

1. 明确范围和交战规则
  1. 明确目标：模型、应用入口、工具、数据存储
  2. 获得书面授权并确定时间窗口
  3. 商定范围外事项（例如，除非获得批准，否则不得对员工进行社会工程）
  4. 明确成功标准：关键发现、复现步骤、严重性评定标准
  5. 规划安全测试环境（不使用生产环境客户数据）

ROE 模板和严重性定义参见 references/engagement_scope.md。

2. 大模型应用的威胁建模
类别示例
提示注入用户／文档内容中的指令覆盖系统策略
越狱角色扮演、编码、多轮胁迫
工具滥用未经授权的 API 调用、参数注入
数据泄露RAG 泄露其他租户的文本块，日志中包含 PII
供应链恶意工具定义、遭入侵的插件
拒绝服务消耗 Token、Agent 循环递归

技术类别和测试提示词（请合乎道德地使用）参见 references/attack_catalog.md。

3. 执行测试

阶段：

  1. 基线 — 记录预期的拒绝行为和允许的行为
  2. 自动化扫描 — 使用精选攻击集和模糊变异的测试框架
  3. 人工创意测试 — 针对特定领域设计滥用场景
  4. 工具／RAG 重点测试 — 通过检索文档进行间接注入
  5. 回归测试 — 缓解措施实施后重新运行测试

记录：输入、输出、工具调用、延迟，以及防护措施是否触发。

测试框架设计和数据集参见 references/testing_harness.md。

4. 报告

每项发现都应包括：

  • 标题和严重性（影响 × 可能性）
  • 复现步骤（尽量精简）
  • 证据（已脱敏的对话记录）
  • 受影响组件
  • 建议的缓解措施
  • 复测标准

报告模板和修复跟踪参见 references/reporting.md。

5. 缓解措施验证
缓解措施复测
输入／输出过滤器使用改述内容尝试绕过
加固系统提示词通过 RAG 上下文注入
工具允许列表混淆代理与权限范围扩大
人工审批关卡自动化 Agent 的绕过路径

关于纵深防御和已知薄弱控制措施，请参阅 references/mitigations.md。

何时加载参考资料

  • ROE 和范围 → references/engagement_scope.md
  • 攻击类型 → references/attack_catalog.md
  • 测试框架和自动化 → references/testing_harness.md
  • 报告 → references/reporting.md
  • 防御措施 → references/mitigations.md

评论

支持 Markdown