关于 auditing-experiments-flags
用于审计实验和功能标记配置的技能,面向 PostHog 用户,涵盖单项、范围及全面审计,并按严重程度整理结果。
主要功能
- 01单项实体检查
- 02范围及全面审计
- 03按严重程度归类发现
- 04处理不可用数据
- 05报告部分失败
适用场景
- 01检查指定实验或标记
- 02审计所有实验或标记
- 03同时审查实验与标记
- 04报告数据不可用造成的检查缺口
MCP 相关
该技能说明如何使用实验和功能标记读取工具,包括 `experiment-get`、`experiment-list`、`feature-flag-get-definition` 和 `feature-flag-get-all`。
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ posthog/ ai-plugin --skill auditing-experiments-flags安装后在 Claude Code 中输入/auditing-experiments-flags确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/experiment-checks.mdfinding-taxonomy.mdflag-checks.mdremediation-actions.mdsynthesis-patterns.md详细介绍
实验和功能标志审计
此技能将教你如何对实验和功能标志执行配置审计。
所有检查均使用实验和功能标志读取工具(experiment-get、experiment-list、feature-flag-get-definition、feature-flag-get-all)——Phase 1 检查无需 SQL 查询。
使用模式
快速检查(单个实体)
当用户询问某个特定实验或标志时:
- 通过
experiment-get(实验 ID)或feature-flag-get-definition(数字标志 ID)获取实体。 - 应用实验检查或标志检查中的相关检查。
- 以 Markdown 格式直接报告发现,并按严重程度分组(先 CRITICAL,再 WARNING,最后 INFO)。
- 包含实体链接,格式为
[Experiment: name](/experiments/id)或[Flag: key](/feature_flags/id)。
范围审计(一个领域)
当用户要求审计所有实验或所有标志时:
- 通过
experiment-list或feature-flag-get-all批量获取。 - 对该领域的每个实体运行所有检查。
- 先按严重程度分组,再按实体分组。
- 以 Markdown 格式直接报告。
全面审计(综合)
当用户要求对实验和标志进行全面审计时:
- 通过
experiment-list获取所有实验,并通过feature-flag-get-all获取所有标志。 - 运行所有实验检查和所有标志检查。
- 应用反复出现的模式,识别多个发现之间的模式。
- 如果有发现的实体超过 5 个,将其写入笔记本以便于查阅。否则直接报告。使用项目自身的笔记本工具创建笔记本。运行
search notebooks?-来加载笔记本并读取标题。
输出格式
对于每项发现,请包含:
- 严重程度徽标:
🔴 CRITICAL、🟡 WARNING或🔵 INFO - 检查名称:得出此发现的检查项
- 实体链接:指向实体的 Markdown 链接
- 问题说明:用一句话描述问题
- 操作建议:应采取的措施(参见修复措施)
示例:
🟡 WARNING — 标志集成 · Experiment: checkout-redesign 关联的功能标志未启用(已暂停)。流量未进行拆分。 操作建议:重新启用该标志,或结束实验。
处理不可用的数据
某些检查需要活动日志(标志需使用 feature-flags-activity-retrieve),但并非每个会话都能获取这些日志。
如果活动日志数据不可用:
- 完全跳过
checkActivityHistory(实验检查)。 - 跳过标志生命周期检查中的“切换不稳定”和“从未启用”子检查。
- 在报告中注明跳过了哪些检查以及原因:
已跳过:活动历史检查(当前工具无法获取活动日志)
部分失败
如果某些实体的获取调用失败:
- 继续检查已成功获取的实体。
- 报告哪些实体无法评估以及原因。
- 不要在审计中悄然遗漏任何实体。
参考文件
评论
支持 Markdown