mcpField
A
ai-safety-red-team-review

ai-safety-red-team-review

github.com/sylphxai安全138 次安装今天更新
代码仓库

关于 ai-safety-red-team-review

将 AI 安全与红队评审问题转化为包含负责人、关卡、指标和恢复路径的测试及发布计划。覆盖提示词注入、数据泄漏和不安全工具使用等风险，并将缓解措施关联到回归测试和可衡量证据。

主要功能

  1. 01界定 AI 功能与风险范围
  2. 02分类安全测试类型
  3. 03制定攻击场景与测试标准
  4. 04规划缓解措施、负责人和发布关卡
  5. 05回归评估与事件触发条件

适用场景

  1. 01规划 AI 功能的红队测试
  2. 02评估提示词注入和数据泄漏风险
  3. 03为工具型 Agent 设置发布关卡
  4. 04跟踪缓解措施与回归测试

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/sylphxai/skills --skill ai-safety-red-team-review

安装后在 Claude Code 中输入/ai-safety-red-team-review确认已加载。

附带文件agents/openai.yamlreferences/ai-safety-red-team-patterns.md

详细介绍

AI Safety 红队评审

使用此技能，将 AI 安全红队、提示词注入、越狱、隐私、工具使用、评估、缓解措施和发布门禁相关问题，转化为包含负责人、门禁、指标和恢复路径的具体产物。

工作流

  1. 明确 AI 功能范围、用户、数据类别、工具/操作、自主级别、模型路由、策略边界、已知危害、发布阶段和事件历史。
  2. 阅读 references/ai-safety-red-team-patterns.md。
  3. 将测试归类为提示词注入、越狱、数据泄露、工具误用、不安全操作、幻觉、偏见/公平性、有害内容、回退回归或监控缺口。
  4. 定义攻击场景、测试样例、成功标准、缓解措施、严重程度、负责人、发布门禁、回归评估和事件响应触发条件。
  5. 生成红队计划、状态机、决策表、事件架构、测试矩阵和缓解待办事项。

不适用场景

  • 如果基础模型无需此技能特有的产物规范，就能处理通用建议，请勿使用。

防护措施

  • 除定义安全的内部测试场景和缓解措施所必需的内容外，不提供漏洞利用说明。
  • 对使用工具或访问数据的 Agent，不要将通用内容策略测试视为充分保障。
  • 未配备恢复机制、审计日志、用户确认和紧急停用开关时，不要发布高风险自主功能。
  • 未添加回归测试或提供可衡量的缓解证据前，不要关闭红队发现的问题。

输出格式

AI safety context:
Audience / source of truth / risk boundary:

Red-team plan:
| Area | Decision | Evidence | Risk | Owner |
| --- | --- | --- | --- | --- |

Attack classes, mitigations, and release gates:
- <trigger> -> <policy, metric, edge case, support note>

评论

支持 Markdown