关于 frontier-scan
frontier-scan 是用于对照近期 Agent 框架进展检查项目能力差距的侦察技能。它比较八个维度与上一期结果,并据此更新差距议题和报告;不负责实现修复。
主要功能
- 01执行五项 WebSearch 检索
- 02按八个维度评估能力
- 03对比前期结果并识别变化
- 04查询议题以避免重复上报
- 05更新报告、日志与议题
适用场景
- 01定期追踪 Agent 框架进展
- 02评估项目与外部能力差距
- 03为新发现的差距创建或更新议题
- 04记录能力变化并维护基准报告
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ rheinmir/ setup --skill frontier-scan安装后在 Claude Code 中输入/frontier-scan确认已加载。
详细介绍
技能:frontier-scan
fdk/wiki/concepts/frontier-gap-scan.md 中 runbook 的即时调用版本。目标:全面扫描 overstack 的前沿,不因已有成绩而松懈。用于替代云端例行任务(因需要连接 GitHub 而受阻)——可随时手动运行,由人在环中监督。
WHAT
目的与背景
- **目的:**侦察过去 30 天的 agent-framework 前沿,按 8 个维度对 overstack 评分(持平/领先/落后),与上一期进行差异对比,为能力缺口新建或更新 issue,并更新报告。
- 触发条件(何时使用):
- “frontier scan”、“扫描竞品”、“运行 scout”、“每周 scout”、“与业界相比我们落后什么”、“/frontier-scan”。
- 定期运行(预计每周一次),或听闻值得对比的新框架/技术时。
- **非目标:**研究一般主题(使用
/last30days);为已知问题单独新建 issue(使用/raise-issue);编写代码修复缺口(由会话接手,使用/fdk打开)。
心智模型
runbook + 上一期基线 → 5 次 WebSearch(4 次固定 + 1 次自由)→ 对照 CAPABILITIES 给出 8 个维度的判定 → 与上一期对比(排名下降/新增维度)→ issue(新建或添加更新评论)→ 报告 + 日志。
输入与输出约定
| 字段 | 必需? | 含义 | |
|---|---|---|---|
| 输入 | runbook fdk/wiki/concepts/frontier-gap-scan.md | 是 | 8 个维度 + 评分方式 |
| 输入 | 上一期报告 llmwiki/html/overstack-vs-world-30d.html | 是 | 用作差异对比的基线 |
| 输入 | llmwiki/wiki/sources/ISSUES.md + fdk/CAPABILITIES.md | 是 | 当前未关闭的 issue + 现有能力 |
| 输出 | 8 个维度的判定 + 与上一期的差异 | 是 | 明确指出排名下降/新增的维度 |
| 输出 | 新 issue(ledger + GH)或 gh issue comment | 视缺口而定 | 不与已有 issue 重复 |
| 输出 | 更新后的报告 + llmwiki/wiki/log.md 中的一行记录 | 是 | 保留旧基线,并添加本期差异部分 |
规则与能力
- RULE-01(MUST):只进行扫描、创建/更新 issue 和更新报告。不得编写代码、自动合并,也不得将 issue 状态提升至
open之后。 - RULE-02(MUST):每期保留 4 个固定扫描查询,以便进行有意义的差异对比;第 5 个查询自由决定。
- RULE-03(MUST):创建 issue 前先查询 wiki + ISSUES.md(R7-f)——不要为已有 issue 涉及的缺口重复创建 issue。
- RULE-04(MUST):定义“胜利”:任何维度都不得连续超过 2 期处于落后状态,且没有正在处理的 issue。
- RULE-05(MUST):仓库禁止在 commit 中标注 AI 贡献者(R15)——如果进行 commit,不要添加 Co-Authored-By。
- RULE-06(MUST):只修改任务所需内容,不要顺手进行其他改动。
- 能力:网页搜索;读取上一期报告 + ledger;写入报告 + 日志 + ledger;向远程 tracker 提交 issue。
故障边界
- 缺少上一期报告 → 无法进行差异对比:明确说明这是首个基线(partial),不要捏造上一期判定。
- 无法访问远程 tracker(
gh尚未认证)→ 仅写入 ledger + ISSUES.md(partial),并告知用户。 - 不确定某个缺口是否已有 issue → clarify/继续查询,不要重复创建 issue(RULE-03)。
HOW
主要工作流
| 步骤 | 类型 | 输入 | 操作 | 输出/退出 | 失败/后续 |
|---|---|---|---|---|---|
| W01 | 确定性 | runbook、报告、ISSUES.md | 阅读 runbook + 基线 | 8 个维度 + 上期 verdict + 未关闭 issue | 缺少报告 → partial(首次基线) |
| W02 | 效果 | 5 个查询 | 执行 5 次 WebSearch(4 个固定 + 1 个自由查询) | 搜索结果 | — |
| W03 | 判断 | 结果 + fdk/CAPABILITIES.md | 为 8 个维度评定持平/接近/落后 | verdict | — |
| W04 | 判断 | 新 verdict + 旧 verdict | 与上期对比:排名下降 / 新维度 | 变更列表 | — |
| W05 | 效果 | 差距 | 提交(B01)或发布更新评论(B02) | issue | 重复 → B02 |
| W06 | 效果 | verdict + 差异 | 更新报告 + 日志 | 报告 + 日志 | — |
| W07 | 确定性 | — | 停止,不编写修复代码 | 报告 | — |
各步骤详情(W01–W07 的权威信息来源):
- 阅读 runbook + 基线:
fdk/wiki/concepts/frontier-gap-scan.md和最近一期报告llmwiki/html/overstack-vs-world-30d.html。载入 8 个维度列表 + 上期 verdict + 未关闭的 issue(llmwiki/wiki/sources/ISSUES.md,GH#9-13 + Ralph #15)。 - 扫描(5 次 WebSearch):(a) 本月 Claude Code / Agent 框架更新;(b) AI Agent 记忆 + 上下文工程;(c) 自我改进 Agent + harness 评估;(d) Agent 技能市场 + 供应链安全;(e) 自选 1 个热点新闻查询。前 4 个查询保持固定,以便跨期比较。
- 对照评估:对照
fdk/CAPABILITIES.md,为 8 个维度(Harness、编排、记忆、自我演进技能、知识/上下文、评估/可观测性、技能安全、规模)评定持平/接近/落后。 - 与上期对比:哪些维度排名下降?出现了哪些新维度?这是最重要的信号——请明确指出。
- 提交 / 更新(先执行 R7-f 查询,避免重复):
- 尚无 issue 的新增或恶化差距 →
/raise-issue(ledger 草稿 + ISSUES.md 条目 +gh issue create --assignee Rheinmir,正文反向链接到 ledger,并添加“参考仓库/论文”部分)。 - 已有 issue 的差距 → 仅使用
gh issue comment更新证据,不要重复提交。
- 尚无 issue 的新增或恶化差距 →
- 报告 + 日志:更新
llmwiki/html/overstack-vs-world-30d.html(保留旧基线,新增本期差异部分)+ 在llmwiki/wiki/log.md末尾追加 1 行。 - 停止,不编写修复代码:此技能仅用于侦察和提交 issue。差距的实际执行由接手的会话负责(使用
/fdk开始)。
分支
| ID | 类型 | 条件 | 行为 | 跳过 / 失败 | 汇合 |
|---|---|---|---|---|---|
| B01 | conditional_required | 有新增或恶化差距,且尚无 issue | /raise-issue(ledger + ISSUES.md + gh issue create) | — | W06 |
| B02 | conditional_required | 差距已有 issue | 仅使用 gh issue comment 更新证据 | — | W06 |
验证与停止
每个新 issue 都必须通过 R7-f 查询(确保不重复);报告保留旧基线。8 个维度的 verdict 属于判断,需要读者审核。在 W07 后停止,不进入编码阶段。
示例
- **正面示例:**本周运行 "/frontier-scan" → Memory 维度从持平降至接近,且尚无 issue →
/raise-issue+ ISSUES.md 条目;报告新增本期差异部分 + 1 行日志。 - **边界/失败:**Skill security 维度仍落后,但 ISSUES.md 中已有未关闭的 issue → 仅使用
gh issue comment补充新证据,不要提交第二个 issue。
评论
支持 Markdown