mcpField
F
frontier-scan

frontier-scan

github.com/rheinmir生产力10216 次安装2 周前更新
代码仓库

关于 frontier-scan

frontier-scan 是用于对照近期 Agent 框架进展检查项目能力差距的侦察技能。它比较八个维度与上一期结果,并据此更新差距议题和报告;不负责实现修复。

主要功能

  1. 01执行五项 WebSearch 检索
  2. 02按八个维度评估能力
  3. 03对比前期结果并识别变化
  4. 04查询议题以避免重复上报
  5. 05更新报告、日志与议题

适用场景

  1. 01定期追踪 Agent 框架进展
  2. 02评估项目与外部能力差距
  3. 03为新发现的差距创建或更新议题
  4. 04记录能力变化并维护基准报告

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/rheinmir/setup --skill frontier-scan

安装后在 Claude Code 中输入/frontier-scan确认已加载。

详细介绍

技能:frontier-scan

fdk/wiki/concepts/frontier-gap-scan.md 中 runbook 的即时调用版本。目标:全面扫描 overstack 的前沿,不因已有成绩而松懈。用于替代云端例行任务(因需要连接 GitHub 而受阻)——可随时手动运行,由人在环中监督。

WHAT

目的与背景
  • **目的:**侦察过去 30 天的 agent-framework 前沿,按 8 个维度对 overstack 评分(持平/领先/落后),与上一期进行差异对比,为能力缺口新建或更新 issue,并更新报告。
  • 触发条件(何时使用):
    • “frontier scan”、“扫描竞品”、“运行 scout”、“每周 scout”、“与业界相比我们落后什么”、“/frontier-scan”。
    • 定期运行(预计每周一次),或听闻值得对比的新框架/技术时。
  • **非目标:**研究一般主题(使用 /last30days);为已知问题单独新建 issue(使用 /raise-issue);编写代码修复缺口(由会话接手,使用 /fdk 打开)。
心智模型

runbook + 上一期基线 → 5 次 WebSearch(4 次固定 + 1 次自由)→ 对照 CAPABILITIES 给出 8 个维度的判定 → 与上一期对比(排名下降/新增维度)→ issue(新建或添加更新评论)→ 报告 + 日志。

输入与输出约定
字段必需?含义
输入runbook fdk/wiki/concepts/frontier-gap-scan.md是8 个维度 + 评分方式
输入上一期报告 llmwiki/html/overstack-vs-world-30d.html是用作差异对比的基线
输入llmwiki/wiki/sources/ISSUES.md + fdk/CAPABILITIES.md是当前未关闭的 issue + 现有能力
输出8 个维度的判定 + 与上一期的差异是明确指出排名下降/新增的维度
输出新 issue(ledger + GH)或 gh issue comment视缺口而定不与已有 issue 重复
输出更新后的报告 + llmwiki/wiki/log.md 中的一行记录是保留旧基线,并添加本期差异部分
规则与能力
  • RULE-01(MUST):只进行扫描、创建/更新 issue 和更新报告。不得编写代码、自动合并,也不得将 issue 状态提升至 open 之后。
  • RULE-02(MUST):每期保留 4 个固定扫描查询,以便进行有意义的差异对比;第 5 个查询自由决定。
  • RULE-03(MUST):创建 issue 前先查询 wiki + ISSUES.md(R7-f)——不要为已有 issue 涉及的缺口重复创建 issue。
  • RULE-04(MUST):定义“胜利”:任何维度都不得连续超过 2 期处于落后状态,且没有正在处理的 issue。
  • RULE-05(MUST):仓库禁止在 commit 中标注 AI 贡献者(R15)——如果进行 commit,不要添加 Co-Authored-By。
  • RULE-06(MUST):只修改任务所需内容,不要顺手进行其他改动。
  • 能力:网页搜索;读取上一期报告 + ledger;写入报告 + 日志 + ledger;向远程 tracker 提交 issue。
故障边界
  • 缺少上一期报告 → 无法进行差异对比:明确说明这是首个基线(partial),不要捏造上一期判定。
  • 无法访问远程 tracker(gh 尚未认证)→ 仅写入 ledger + ISSUES.md(partial),并告知用户。
  • 不确定某个缺口是否已有 issue → clarify/继续查询,不要重复创建 issue(RULE-03)。

HOW

主要工作流
步骤类型输入操作输出/退出失败/后续
W01确定性runbook、报告、ISSUES.md阅读 runbook + 基线8 个维度 + 上期 verdict + 未关闭 issue缺少报告 → partial(首次基线)
W02效果5 个查询执行 5 次 WebSearch(4 个固定 + 1 个自由查询)搜索结果—
W03判断结果 + fdk/CAPABILITIES.md为 8 个维度评定持平/接近/落后verdict—
W04判断新 verdict + 旧 verdict与上期对比:排名下降 / 新维度变更列表—
W05效果差距提交(B01)或发布更新评论(B02)issue重复 → B02
W06效果verdict + 差异更新报告 + 日志报告 + 日志—
W07确定性—停止,不编写修复代码报告—

各步骤详情(W01–W07 的权威信息来源):

  1. 阅读 runbook + 基线:fdk/wiki/concepts/frontier-gap-scan.md 和最近一期报告 llmwiki/html/overstack-vs-world-30d.html。载入 8 个维度列表 + 上期 verdict + 未关闭的 issue(llmwiki/wiki/sources/ISSUES.md,GH#9-13 + Ralph #15)。
  2. 扫描(5 次 WebSearch):(a) 本月 Claude Code / Agent 框架更新;(b) AI Agent 记忆 + 上下文工程;(c) 自我改进 Agent + harness 评估;(d) Agent 技能市场 + 供应链安全;(e) 自选 1 个热点新闻查询。前 4 个查询保持固定,以便跨期比较。
  3. 对照评估:对照 fdk/CAPABILITIES.md,为 8 个维度(Harness、编排、记忆、自我演进技能、知识/上下文、评估/可观测性、技能安全、规模)评定持平/接近/落后。
  4. 与上期对比:哪些维度排名下降?出现了哪些新维度?这是最重要的信号——请明确指出。
  5. 提交 / 更新(先执行 R7-f 查询,避免重复):
    • 尚无 issue 的新增或恶化差距 → /raise-issue(ledger 草稿 + ISSUES.md 条目 + gh issue create --assignee Rheinmir,正文反向链接到 ledger,并添加“参考仓库/论文”部分)。
    • 已有 issue 的差距 → 仅使用 gh issue comment 更新证据,不要重复提交。
  6. 报告 + 日志:更新 llmwiki/html/overstack-vs-world-30d.html(保留旧基线,新增本期差异部分)+ 在 llmwiki/wiki/log.md 末尾追加 1 行。
  7. 停止,不编写修复代码:此技能仅用于侦察和提交 issue。差距的实际执行由接手的会话负责(使用 /fdk 开始)。
分支
ID类型条件行为跳过 / 失败汇合
B01conditional_required有新增或恶化差距,且尚无 issue/raise-issue(ledger + ISSUES.md + gh issue create)—W06
B02conditional_required差距已有 issue仅使用 gh issue comment 更新证据—W06
验证与停止

每个新 issue 都必须通过 R7-f 查询(确保不重复);报告保留旧基线。8 个维度的 verdict 属于判断,需要读者审核。在 W07 后停止,不进入编码阶段。

示例
  • **正面示例:**本周运行 "/frontier-scan" → Memory 维度从持平降至接近,且尚无 issue → /raise-issue + ISSUES.md 条目;报告新增本期差异部分 + 1 行日志。
  • **边界/失败:**Skill security 维度仍落后,但 ISSUES.md 中已有未关闭的 issue → 仅使用 gh issue comment 补充新证据,不要提交第二个 issue。

评论

支持 Markdown