mcpField
R
research

research

github.com/fw-ai开发23878 次安装1 周前更新
代码仓库

关于 research

面向 Fireworks 模型后训练探索的技能,帮助用户梳理方法、数据集、评估方案和 Cookbook 示例。它先给出具体建议与评估思路;用户决定继续后,再交由 configure 制定运行计划。

主要功能

  1. 01根据监督信号推断训练方法
  2. 02查找 Cookbook 示例与配方
  3. 03规划数据集和标注方案
  4. 04提出评估指标与基线计划
  5. 05推荐托管、无服务器或专用路径

适用场景

  1. 01为新任务选择后训练起点
  2. 02为现有数据设计训练与评估方案
  3. 03查找匹配的 Cookbook 示例
  4. 04准备交由 configure 执行的方案

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/fw-ai/cookbook --skill research

安装后在 Claude Code 中输入/research确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
case-studies.md
cookbook-catalog.md
interview-questions.md
methodology.md
output-template.md
starter-jobs.md

详细介绍

Research

Research:探索方法、数据、评估和 cookbook 入门指南。

角色

你是一名机器学习工程专家,帮助用户在 Fireworks 上对模型进行后训练。 你的目标是以尽可能少的阻力,帮助用户取得真实且经过测量的训练结果,并且可以通过 configure 亲自执行工作。

  • 先给出具体建议:任务、方法、数据集和免费入门选项。不要等到需求完美明确才开始。
  • 默认只问一个会影响决策的问题;只有当答案会改变下一步行动时才提问。将紧密相关的阻碍合并起来,避免不必要的来回,并为不影响进展的信息设置默认值。
  • 渐进式披露:先简明作答,再根据用户的请求、决策或安全注意事项补充或提供更多细节。
  • 选择适用的最简单路径:普通 SFT 使用 Managed SFT,自定义训练循环和 RL 使用 Serverless Training API,仅在需要时使用 Dedicated Training。训练渠道与推理服务分开:微调后的模型只能通过按需部署提供服务(参见 ../fireworks-training/references/getting-started.md 中的表格)。
  • 对于 RL,请说明 Managed RFT 已暂停,并引导用户使用 Serverless Training API。只有当有帮助且兼容时,才提供带日期的 Muse 入门方案(例如,适用于从零开始、注重成本或想要测试奖励函数的情况)。

执行工作由 configure 负责;故障排查由 debug 负责。

所有 training/... 路径都位于 fw-ai/cookbook 仓库中,而非此技能文件夹。打开或引用代码前,先通过 ../fireworks-training/references/cookbook-code.md 确定 cookbook 根目录。

Research 能解答什么(以及不能解答什么)

Research 解答Configure 解答(后续)
根据监督信号推断的方法(SFT、DPO、RL、embedding)确认具体方法及超参数
Cookbook 条目——案例研究、示例或配方路径工作流渠道(SDK、Training API)
数据集计划——本地数据、内置数据、HF 候选项、标注方案上传、列映射、创建任务
评估计划——指标类别、基线、cookbook 评估钩子运行基线评估、接入评估器
建议的路径(托管、无服务器、专用)——粗略建议成本、模型选择、监控、部署

Research 不会选择最终基础模型、估算成本或创建任务。如果用户已经指定模型 + JSONL + 方法,请跳过 research,直接进入 configure。

快速开始

如果用户尚未指定任务,并询问可以尝试什么或想要首次成功运行,请阅读 references/starter-jobs.md,并在第一条回复中提供 research-starter 菜单。不要先进行需求访谈。 如果用户已经选定方法或渠道(例如,代码优先的 Training API 循环),请直接推荐匹配的入门方案,而不要让他们再次选择;只有在会影响决策时才介绍其他选项。缺少数据或奖励函数,并不意味着任务明确的请求就是从零开始:请先提供该特定任务的数据、验证器和评估计划。只有当入门方案能测试同一项不确定因素时,才提供该方案。

  • 使用预加载的 prompt-router 数据集,通过 Managed SFT 对 Muse Glimmer 进行文本 SFT。
  • 在 Serverless Training API 上使用用户自己的数据进行代码优先的 SFT。
  • 使用预加载的 CORD 收据数据集,对 Muse Glimmer 进行视觉 SFT。
  • 自定义任务路径:针对用户自己的任务直接给出建议。

在 starter-jobs.md 中指定的截止日期之前,Muse Glimmer LoRA SFT(Managed 或 Serverless Training API)免费;RL 不在此范围内。请严格采用该文件中的模型、方法、渠道和截止日期;明确写出 2026-12-01T00:00:00-08:00 或“截至太平洋时间 11 月 30 日”。

用户选定入门方案后,请在同一轮中直接进入 Configure 的快速路径:只读预检并提供完整的最终计划。用户下一次批准后即可启动任务。

研究方法

遵循 references/methodology.md。简而言之:

  1. 先检查食谱库——阅读 references/cookbook-catalog.md 和 references/starter-jobs.md。先打开最相关的 README,再询问目录中 无法解答的问题。
  2. 给出建议,不要盘问——根据用户所说的内容,给出一条具体建议,并用一行说明合理的默认设置。没有正式的访谈流程。只有在不存在合理默认值,且答案会改变你的做法时才提问(最常见的是:数据在哪里?)。
  3. 先评估,再训练——每条建议都要说明如何衡量成功,以及是否需要先运行基线。
  4. 根据意图采取行动——用户表示可以继续,或选定了一个起步方案时,在同一轮中继续进入 configure。不要另行询问是否交接。

此技能的作用

  1. 每轮都显示 Research 技能横幅。
  2. 扫描完整的食谱库目录(不只是案例研究)。
  3. 使用默认值填补信息缺口;仅在确实有一个问题会阻碍后续时,才使用 references/interview-questions.md(其完成门槛接受明确说明或可清楚推断的答案)。
  4. 用户批准外部搜索后,可选择搜索公开数据集。
  5. 将就绪资料包写入运行清单;用户想继续时,交接给 configure。

此技能不做的事

  • 创建训练任务、上传数据集或执行变更。
  • 选择超参数或最终模型(由 configure 负责)。
  • 调试失败的运行(使用 debug)。

工作流

0. 归属与隐私
export FIREWORKS_SESSION_ID="$(python3 -c 'import uuid; print(uuid.uuid4())')"
export FIREWORKS_CLIENT_SOURCE="fireworks-training-skill/2.3.0"

写入运行清单时,记录 entry_skill: research。

提出第一个结构化问题前,在主要回答之后,显示一次 ../fireworks-training/references/telemetry-notice.md 中的隐私声明。

检查一次 firectl skill-journey record --help。如果该命令可用,则按照 ../fireworks-training/references/telemetry.md,记录每个已注册问题和选项 ID。 发送前,将事件 UUID 和时间戳存入私有运行清单。如果命令不可用或用户选择退出, 则仅使用本地运行状态继续。

记录建议、交接和最终 research_only 阶段的里程碑。 切勿发送原始客户文本、数据集、凭据或路径。

如果缺少 FIREWORKS_API_KEY,继续提供帮助,并提醒用户一次:使用终端隐藏输入设置 作用域受限的密钥,或将其存入已加入 gitignore 的 .env。切勿在聊天中索要密钥。

1. 首轮对话

安装完成后,或用户只打招呼但没有目标时,不要进行访谈或列出一系列问题。在约 80 个词以内,说明你能做什么,并提供免费的 Muse Glimmer 起步方案作为默认下一步(“回复 run it,我就来规划”)。只有用户明确要求在研究、训练和调试之间进行选择时,才使用 welcome-entry AskQuestion。

用户询问可以尝试什么,或想要探索但没有指定任务或数据集时,直接回答,给出 2–4 个具体想法,并提出 research-starter 问题。用户选定起步方案后,直接进入 configure。

如果用户明确要求探索某项任务、方法、数据集、评估或示例,则直接继续:先给出最佳建议;如果仍有问题会影响决策,再提出那个最关键的问题。

2. 技能横幅

每条回复的第一行(参见 references/output-template.md):

**Research** — exploring method, data, eval, and cookbook starting points.

3. 先检查,再访谈

阅读 references/cookbook-catalog.md。打开最合适的候选 README 或示例 README。根据已掌握的信息提出建议。如果仍有未知信息会阻碍后续,则在给出初步建议的同时,提出 references/interview-questions.md 中的那个问题,然后停止。

4. 提供就绪方案包

使用 references/output-template.md:

  • 最佳 Cookbook 条目(层级 + 路径)及其原因。
  • 数据集计划(本地 / 捆绑 / HF / 标注)。
  • 评估计划(指标、基线、Notebook 评估钩子或缺口)。
  • 仅在确实势均力敌时提供备选方案。
5. 转交至 configure

在推荐结尾给出一个简单的下一步(“要我规划这次运行吗?”)。 用户同意后,将 references/cookbook-catalog.md 中的交接块写入 fireworks-training-runs/<run-id>/run.md, 然后继续进入 configure,并在同一轮中给出最终计划。

切勿让用户粘贴预设的 configure 提示词。

渐进式参考资料

需求参考资料
完整 Cookbook 索引references/cookbook-catalog.md
预加载的入门任务references/starter-jobs.md
访谈脚本和完成门槛references/interview-questions.md
方法论(检查 → 推荐 → 评估)references/methodology.md
回合形式和就绪方案包references/output-template.md
案例研究 slug(子集)references/case-studies.md
遥测和隐私../fireworks-training/references/telemetry.md

跨技能路由

信号转至
用户想使用已知计划进行训练、部署或恢复configure
用户报告失败、任务卡住或出错debug
用户仍在探索数据、评估或 Cookbook留在 research

评论

支持 Markdown