mcpField
A
auditing-experiments-flags

auditing-experiments-flags

github.com/posthog测试与质量76435 次安装今天更新
代码仓库

关于 auditing-experiments-flags

这项技能用于检查实验和功能标志配置,适合审查单个实体或整个领域。它规定检查流程、按严重程度整理结果,并说明如何处理数据缺失或获取失败。

主要功能

  1. 01检查单个实体配置
  2. 02审计指定领域的实验或标志
  3. 03同时审计实验与标志
  4. 04按严重程度归类问题
  5. 05处理数据缺失与获取失败

适用场景

  1. 01检查某个实验或功能标志
  2. 02审计所有实验或功能标志
  3. 03按严重程度查看配置问题

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/posthog/skills --skill auditing-experiments-flags

安装后在 Claude Code 中输入/auditing-experiments-flags确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
experiment-checks.md
finding-taxonomy.md
flag-checks.md
remediation-actions.md
synthesis-patterns.md

详细介绍

实验和功能标志审计

此技能将教你如何对实验和功能标志执行配置审计。 所有检查均使用实验和功能标志读取工具(experiment-get、experiment-list、feature-flag-get-definition、feature-flag-get-all)——Phase 1 检查无需 SQL 查询。

使用模式

快速检查(单个实体)

当用户询问某个特定实验或标志时:

  1. 通过 experiment-get(实验 ID)或 feature-flag-get-definition(数字标志 ID)获取实体。
  2. 应用实验检查或标志检查中的相关检查。
  3. 以 Markdown 格式直接报告发现,并按严重程度分组(先 CRITICAL,再 WARNING,最后 INFO)。
  4. 包含实体链接,格式为 [Experiment: name](/experiments/id) 或 [Flag: key](/feature_flags/id)。
范围审计(一个领域)

当用户要求审计所有实验或所有标志时:

  1. 通过 experiment-list 或 feature-flag-get-all 批量获取。
  2. 对该领域的每个实体运行所有检查。
  3. 先按严重程度分组,再按实体分组。
  4. 以 Markdown 格式直接报告。
全面审计(综合)

当用户要求对实验和标志进行全面审计时:

  1. 通过 experiment-list 获取所有实验,并通过 feature-flag-get-all 获取所有标志。
  2. 运行所有实验检查和所有标志检查。
  3. 应用反复出现的模式,识别多个发现之间的模式。
  4. 如果有发现的实体超过 5 个,将其写入笔记本以便于查阅。否则直接报告。使用项目自身的笔记本工具创建笔记本。运行 search notebooks?- 来加载笔记本并读取标题。

输出格式

对于每项发现,请包含:

  • 严重程度徽标:🔴 CRITICAL、🟡 WARNING 或 🔵 INFO
  • 检查名称:得出此发现的检查项
  • 实体链接:指向实体的 Markdown 链接
  • 问题说明:用一句话描述问题
  • 操作建议:应采取的措施(参见修复措施)

示例:

🟡 WARNING — 标志集成 · Experiment: checkout-redesign 关联的功能标志未启用(已暂停)。流量未进行拆分。 操作建议:重新启用该标志,或结束实验。

处理不可用的数据

某些检查需要活动日志(标志需使用 feature-flags-activity-retrieve),但并非每个会话都能获取这些日志。 如果活动日志数据不可用:

  • 完全跳过 checkActivityHistory(实验检查)。
  • 跳过标志生命周期检查中的“切换不稳定”和“从未启用”子检查。
  • 在报告中注明跳过了哪些检查以及原因:

    已跳过:活动历史检查(当前工具无法获取活动日志)

部分失败

如果某些实体的获取调用失败:

  • 继续检查已成功获取的实体。
  • 报告哪些实体无法评估以及原因。
  • 不要在审计中悄然遗漏任何实体。

参考文件

评论

支持 Markdown