关于 auditing-experiments-flags
这项技能用于检查实验和功能标志配置,适合审查单个实体或整个领域。它规定检查流程、按严重程度整理结果,并说明如何处理数据缺失或获取失败。
主要功能
- 01检查单个实体配置
- 02审计指定领域的实验或标志
- 03同时审计实验与标志
- 04按严重程度归类问题
- 05处理数据缺失与获取失败
适用场景
- 01检查某个实验或功能标志
- 02审计所有实验或功能标志
- 03按严重程度查看配置问题
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ posthog/ skills --skill auditing-experiments-flags安装后在 Claude Code 中输入/auditing-experiments-flags确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/experiment-checks.mdfinding-taxonomy.mdflag-checks.mdremediation-actions.mdsynthesis-patterns.md详细介绍
实验和功能标志审计
此技能将教你如何对实验和功能标志执行配置审计。
所有检查均使用实验和功能标志读取工具(experiment-get、experiment-list、feature-flag-get-definition、feature-flag-get-all)——Phase 1 检查无需 SQL 查询。
使用模式
快速检查(单个实体)
当用户询问某个特定实验或标志时:
- 通过
experiment-get(实验 ID)或feature-flag-get-definition(数字标志 ID)获取实体。 - 应用实验检查或标志检查中的相关检查。
- 以 Markdown 格式直接报告发现,并按严重程度分组(先 CRITICAL,再 WARNING,最后 INFO)。
- 包含实体链接,格式为
[Experiment: name](/experiments/id)或[Flag: key](/feature_flags/id)。
范围审计(一个领域)
当用户要求审计所有实验或所有标志时:
- 通过
experiment-list或feature-flag-get-all批量获取。 - 对该领域的每个实体运行所有检查。
- 先按严重程度分组,再按实体分组。
- 以 Markdown 格式直接报告。
全面审计(综合)
当用户要求对实验和标志进行全面审计时:
- 通过
experiment-list获取所有实验,并通过feature-flag-get-all获取所有标志。 - 运行所有实验检查和所有标志检查。
- 应用反复出现的模式,识别多个发现之间的模式。
- 如果有发现的实体超过 5 个,将其写入笔记本以便于查阅。否则直接报告。使用项目自身的笔记本工具创建笔记本。运行
search notebooks?-来加载笔记本并读取标题。
输出格式
对于每项发现,请包含:
- 严重程度徽标:
🔴 CRITICAL、🟡 WARNING或🔵 INFO - 检查名称:得出此发现的检查项
- 实体链接:指向实体的 Markdown 链接
- 问题说明:用一句话描述问题
- 操作建议:应采取的措施(参见修复措施)
示例:
🟡 WARNING — 标志集成 · Experiment: checkout-redesign 关联的功能标志未启用(已暂停)。流量未进行拆分。 操作建议:重新启用该标志,或结束实验。
处理不可用的数据
某些检查需要活动日志(标志需使用 feature-flags-activity-retrieve),但并非每个会话都能获取这些日志。
如果活动日志数据不可用:
- 完全跳过
checkActivityHistory(实验检查)。 - 跳过标志生命周期检查中的“切换不稳定”和“从未启用”子检查。
- 在报告中注明跳过了哪些检查以及原因:
已跳过:活动历史检查(当前工具无法获取活动日志)
部分失败
如果某些实体的获取调用失败:
- 继续检查已成功获取的实体。
- 报告哪些实体无法评估以及原因。
- 不要在审计中悄然遗漏任何实体。
参考文件
评论
支持 Markdown