ai-engineering-toolkit

⚠️ 仅限授权使用 此技能仅用于教育目的或经授权的安全评估。 使用此工具前，必须获得系统所有者明确的书面许可。 滥用此工具属于违法行为，严格禁止。

强制确认关卡 在运行任何会探测、利用、修改目标、在目标上建立持久访问、从目标提取数据或尝试获取目标凭据的命令之前：

1. 请用户说明确切的目标 URL、IP、账户或资源。
2. 请用户确认已获得书面授权并说明许可范围。
3. 展示确切的命令，并说明预期效果。
4. 等待用户在当前对话中明确确认。

未经确认，请保持只读，并仅提供防御性指导。优先使用沙盒、一次性 VM 或受控实验室。

AI 工程工具包

概述

一组包含 6 个结构化专家级工作流的集合，可将 AI 编码助手转变为资深 AI 工程合作伙伴。每项技能都将可重复的方法论编码其中——不只是“让 AI 帮忙”，而是提供包含定量评分、检查清单和决策树的分步决策框架。

与临时 AI 辅助的关键区别：评分和定性结果可能因评估者、模型和上下文而异；在进行比较前，请校准评分标准并记录版本。你可以将评分系统用作团队基准，并将其写入 CI/CD 流水线。

何时使用此技能

• 在生产部署前评估或优化 LLM 系统提示词时
• 设计 RAG 流水线并需要结构化架构决策（而非仅需样板代码）时
• 规划上下文窗口各区域的令牌预算分配时
• 对 AI Agent 进行发布前安全审计时
• 为 LLM 应用构建评估框架时
• 编写代码前梳理产品策略时

可用性和范围

此 AAS 树仅包含本概述；这里不包含六个具名工作流包、65 个测试用例和 CI 模板。没有实际提供的评分标准、用例、测试框架和记录的执行结果时，不得声称已运行 65 项测试或完成评分评估。上游集合是可选的、单独审查的来源；安装它并不能验证生产系统。

工作原理

技能 1：提示词评估器

定义明确的评估器可按 8 个维度（清晰度、具体性、完整性、简洁性、结构、依据、安全性、稳健性）以 1–10 分制为提示词评分，并通过加权汇总得出 0–100 分。它会找出得分最低的 3 个维度，生成有针对性的改写，并重新评估。支持单条提示词、A/B 比较和批量评估模式。

技能 2：上下文预算规划器

分析 5 个上下文区域（系统提示、少样本示例、用户输入、检索、输出）的令牌分布，并生成优化的分配方案。包含针对各区域的压缩策略决策树。常见问题：输出区域被压缩到不足 6%——这项技能会在发生截断前发现这一问题。

技能 3：RAG 流水线架构师

通过完整的架构决策树逐步引导：文档格式 → 解析策略 → 分块方法（固定／语义／递归）→ 嵌入模型选择 → 检索方法（向量／关键词／混合）→ 评估指标（忠实度、相关性、上下文精确率）。涵盖 Naive RAG、Advanced RAG 和 Modular RAG 模式。

技能 4：Agent 安全防护

针对 5 类攻击执行包含 65 个检查点的红队审计：直接提示词注入、间接提示词注入（通过 RAG 文档）、信息提取（系统提示词 / API 密钥泄露）、工具滥用（SQL 注入、路径遍历、命令注入）和目标劫持。AI 会构建对抗性测试提示词以供评估，要求用户在每个测试阶段开始前确认，判定通过 / 失败，并生成修复建议。所有测试均限制在评估上下文中，不会与外部系统交互。建议在沙盒环境（Docker/VM）中运行审计。

技能 5：评估框架构建器

为 LLM 应用设计评估指标体系。包含 LLM-as-Judge 评分框架，并提供偏差缓解策略（位置偏差、冗长偏差、自我提升偏差）。输出可用于 CI/CD 的评估流水线模板。

技能 6：产品判断力教练

包含 5 个阶段的引导式对话框架：深入探讨动机 → 评估市场机会 → 找到路径 → 设计场景 → 分析竞争。适合在编写任何代码之前思考“我们应该开发这个吗？”

示例

示例 1：提示词评估

提问：“评估此系统提示词”

You are a customer support agent. Help users with their questions. Be nice and helpful.

仅供说明的响应格式，并非实测评估：总分 28/100。最薄弱的维度：安全性（1/10，没有注入防护）、具体性（2/10，没有输出格式）、结构（2/10，没有分节）。假设的改写版本得分为 82/100，新增了范围边界、响应格式、升级规则和安全防护措施。

示例 2：安全审计

提问：“对我的客户支持 Agent 进行安全审计”

仅供参考的报告格式：已执行 65 项测试。发现 3 个严重失败项：Base64 编码指令绕过、通过工具调用进行路径遍历、通过角色扮演提取系统提示词。每项均提供了修复建议。

最佳实践

• ✅ 在任何生产部署之前运行 prompt-evaluator——设定团队基准（例如 ≥70/100）
• ✅ 在开发早期使用 context-budget-planner，不要等到遇到截断问题后再使用
• ✅ 将 agent-safety-guard 作为发布前的关卡，而不是事故发生后的补救措施
• ✅ 按顺序组合使用技能：RAG 设计 → 上下文优化 → 提示词润色 → 安全审计 → 评估设置
• ❌ 不要只依赖单一维度的分数——应查看完整的评估概况
• ❌ 不要因为“这只是内部工具”就跳过安全审计

安全须知

• 本概览仅供参考。执行外部测试框架可能会读取 / 写入文件、传输提示词或产生费用；这些操作必须具备实际授权，且符合授权范围。
• agent-safety-guard 技能仅为评估目的构建对抗性测试提示词——这些提示词仅限于评估上下文，不会与外部系统交互。
• agent-safety-guard 被归类为攻击性技能：它会为经授权的安全测试生成攻击载荷（提示词注入、SQL 注入、命令注入）。执行每个测试阶段前，必须获得用户明确确认。尽可能在沙盒环境中运行。
• 不包含武器化载荷。所有对抗性提示词均用于教育目的。

安装

# Via skill install command (Claude Code / WorkBuddy / Cursor)
/skill install -g viliawang-pm/ai-engineering-toolkit

# Manual
git clone https://github.com/viliawang-pm/ai-engineering-toolkit.git
# Review a fixed upstream revision/license and install selected files only into the authorized workspace, preserving existing files.

仓库：github.com/viliawang-pm/ai-engineering-toolkit 许可证：MIT

局限性

• 仅当任务明确符合上述范围时，才使用此技能。
• 不要将输出视为针对特定环境的验证、测试或专家审查的替代品。
• 如果缺少必要输入、权限、安全边界或成功标准，请停止并请求澄清。