Skills
收录 97,222 个为 Agent 打包的专项能力与操作指引,复制一行命令即可安装。
Agent 工作流
比较 AG2 的 Agent、模型或提示词,判断哪个更好。run_variants 在同一套件上为多个具名 Agent 打分并在排行榜中排名(Variants 保存具名 Agent 实例的映射以及一个轴标签)。run_pairwise 配合 pairwise_judge 使用双顺序位置交换进行 LLM 头对头比较(只有在交换后仍然获胜才算胜,否则算平局),报告胜率及 Wilson 95% CI、胜、负、平、翻转和一致性(Cohen's kappa)。human_pairwise 以内联方式收集人工盲投,或通过 export_pairwise_cases 和 human_labels 导出的清单收集。当用户想要对提示词或模型做 A/B 测试、运行排行榜、选出胜者、进行头对头评判、测量胜率或收集人类偏好标签时使用。要运行和评估单个 Agent,参见 ag2-evaluation。
提交 SpecStory 记录以及 Claude/Cursor/OpenCode/Codex 计划并附带功能差异,派生分阶段的 `AI-Assisted-By` 以及记录/计划 trailer,防止密钥泄露,并忽略 SpecStory 的机器本地状态。当被要求提交/保存/分阶段处理 Agent 会话、记录跨 harness 来源、引导 pre-commit、修复 `.specstory/statistics.json` 频繁变更、清理记录,或以轮换优先的原则补救意外的密钥提交/推送时使用。
在 PostHog AI observability 中编写持续运行的在线评估,以你发现的真实失败模式为基础。适用于用户希望评估能自动为后续的新生成内容或整条 trace 打分的场景——"创建一个 eval 来捕获 X"、"持续检查响应是否满足 Y"、"把这些失败变成 eval"。涵盖:让探索过的数据决定要创建多少个 eval,提出该集合供用户挑选,选择评估目标与评估类型(hog / llm_judge / sentiment),为 llm_judge 评估配置 provider 和 model(provider key 只限制启用,不限制创建),通过条件限定哪些生成内容会触发它,以禁用状态创建,验证作用范围,启用,以及回填历史数据。当没有值得捕获的失败模式时,提出 sentiment 评估。寻找并排序值得评估的失败模式是另一项工作——先使用 exploring-ai-failures。若要调试或管理已存在的评估,使用 exploring-llm-evaluations。
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。
