关于 ai-security-tooling
用于整理 AI 与 ML 安全工具、基准和标准的参考技能，定义了工具分类、归类规则及维护资源清单的准则，以保持内容聚焦并避免重复。
主要功能
- 01分类 LLM 安全工具
- 02整理对抗式 ML 库
- 03归纳红队测试资源
- 04分类基准与标准
- 05应用内容筛选规则
适用场景
- 01整理 AI 安全资源
- 02为 AI 安全工具归类
- 03查找示例列表以外的资源
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/ai-security-tooling确认已加载。
详细介绍
AI 安全工具
范围
在添加或整理以下内容时使用此技能：
- 大模型安全工具（护栏、检测器）
- 对抗式机器学习库
- AI 漏洞扫描器
- 模型安全工具
- 安全基准和框架
工具类别
大模型安全工具
- 护栏：NeMo Guardrails、LLM Guard、Rebuff
- 检测器：Vigil-LLM、Nova Framework、Garak
- 扫描器：ModelScan、AI Security Analyzer
对抗式机器学习库
- 攻击库：ART、CleverHans、Foolbox、TextAttack
- 防御库：SecML
- 模糊测试：OSS-Fuzz-Gen、Brainstorm
AI 红队测试
- Microsoft：Counterfit、PyRIT
- Meta：PurpleLlama
- NVIDIA：Garak、NeMo Guardrails
基准测试
- 鲁棒性：RobustBench
- 越狱：JailbreakBench
- 安全性：Stanford AIR-Bench
- 幻觉：Vectara Leaderboard
标准与框架
- MITRE ATLAS：AI 威胁矩阵
- NIST AI RMF：风险管理框架
- OWASP：LLM Top 10、GenAI Security Project
分类规则
- 大模型护栏/检测器 →
AI Security & Attacks → Model Security - 提示词注入工具 →
AI Security & Attacks → Prompt Injection - 对抗式机器学习库 →
AI Security & Attacks → Adversarial Attacks或AI Security Libraries - AI 逆向工程/调试工具 →
AI Security Tools & Frameworks → AI Reverse Engineering - AI 漏洞扫描器 →
AI Security Tools & Frameworks → AI Vulnerability Detection - 基准测试 →
Benchmarks & Standards - MCP 安全工具 →
AI Pentesting & Red Teaming → AI Security MCP Tools
质量标准
- 优先选择规范仓库
- 除非分支版本增加了有意义的功能，否则避免使用
- 添加简短描述
- 绝不重复添加已有 URL
- 工具必须专注于 AI/ML
主要供应商工具
| 供应商 | 工具 |
|---|---|
| Microsoft | Counterfit、PyRIT |
| Meta | PurpleLlama（Llama Guard、Prompt Guard、Code Shield） |
| NVIDIA | Garak、NeMo Guardrails |
| IBM | Adversarial Robustness Toolbox (ART) |
| OSS-Fuzz-Gen | |
| ProtectAI | Rebuff、LLM Guard、ModelScan |
备注
新增内容应：
- 专注于 AI/ML 安全
- 不重复 URL
- 尽量减少结构性更改
数据来源
如需获取详细且最新的资源，请从以下位置获取完整列表：
https://raw.githubusercontent.com/gmh5225/awesome-ai-security/refs/heads/main/README.md
需要查找此技能未涵盖的特定工具、论文或资源时，请使用此 URL 获取最新整理的链接。
评论
支持 Markdown