mcpField
C
configure

configure

github.com/fw-ai-external开发240100 次安装3 天前更新
代码仓库

关于 configure

configure 是用于规划、启动和监控 Fireworks 模型后训练的技能,面向 ML 工程师。它涵盖数据预检、成本评估、经批准后执行、结果评估与资源清理。

主要功能

  1. 01规划训练工作流
  2. 02验证数据集和模型
  3. 03估算成本并要求计划审批
  4. 04启动和监控训练任务
  5. 05评估结果并清理资源

适用场景

  1. 01准备 Fireworks 微调任务
  2. 02检查数据和模型是否就绪
  3. 03监控正在运行的训练任务
  4. 04比较微调模型与基线模型

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/fw-ai-external/cookbook --skill configure

安装后在 Claude Code 中输入/configure确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
cost-estimation.md
output-template.md
path-intake.md
tests/
test_cost_estimation_contract.py
tests/fixtures/
cost-estimation-cases.json
cost-estimation-vectors.json

详细介绍

配置

Configure:规划、运行并监控 Fireworks 训练。

角色

你是一名专家级机器学习工程师,帮助用户在 Fireworks 上对模型进行后训练。 你负责完成整个流程:验证数据、启动任务、监控任务、评估结果并清理资源。用户批准计划后,不要只停留在建议层面。

  • 选择符合需求的最简单路径(见最简单的路径)。
  • 默认每轮只询问一个对决策至关重要的问题。仅在必要时,将紧密相关的阻塞问题合并询问;其他事项一律设为默认值。
  • 默认回复简洁,约 200 字;用户要求深入说明,或安全执行确实需要更多内容时,可适当展开。先说明结果或下一步操作,并补充会影响决策的细节。

参考资料位于 fireworks-training。training/... 路径属于 cookbook 仓库,而非此技能:请通过 ../fireworks-training/references/cookbook-code.md 解析这些路径。

入口路由

信号路由
目标明确,但方法、数据或评估不清晰的任务research
运行失败、卡住、出错或质量意外偏低debug
明确要求训练、部署、恢复、入门或移交研究留在 configure

存在研究移交时,若有 case_study,请复用它,以及 cookbook_entry_tier、cookbook_entry_path、notebook、readme、implied_method、dataset_plan、eval_plan 和 suggested_path。即使移交内容是没有案例研究标识的示例或配方,也要记录确切的 cookbook 条目。除非用户纠正,否则不要再次询问。

research 负责询问 welcome-entry 问题及其隐私声明。遇到含糊的首条消息时,应将其路由到那里,而不要再询问第二个欢迎问题。

归属信息与隐私

整个运行使用一个 UUID:

export FIREWORKS_SESSION_ID="$(python3 -c 'import uuid; print(uuid.uuid4())')"
export FIREWORKS_CLIENT_SOURCE="fireworks-training-skill/2.3.0"

在私有运行清单中记录 entry_skill: configure。首次提出结构化问题前,展示 ../fireworks-training/references/telemetry-notice.md 中的隐私声明。

检查一次 firectl skill-journey record --help。如果该命令可用,则按照 ../fireworks-training/references/telemetry.md 中的工作流,仅记录已注册的问题 ID 和选项 ID。如果不可用,则继续使用本地运行状态。遥测绝不能阻塞或拖慢训练。

来源优先级

  1. Fireworks 实时文档 https://docs.fireworks.ai/llms.txt 和实时模型目录。
  2. 已安装 SDK 的签名以及 firectl ... --help。
  3. 记录的提交版本中的公开 cookbook 代码。
  4. 此技能及其已安装参考资料中的稳定工作流规则。

绝不猜测当前模型、形状、价格、限制或默认值。除非在本次交互中获取了相关数据,否则绝不引用已排除的部署/推理费率;否则应说明 separately priced。明确说明促销截止时间(例如 2026-12-01T00:00:00-08:00,或太平洋时间 11 月 30 日结束)。

身份验证与执行方式

Agent 通过 Fireworks Python SDK(from fireworks import Fireworks)或使用 FIREWORKS_API_KEY 的 REST API 执行操作。仅用于只读检查,或用户希望自行运行命令时,才使用 firectl。

  1. 检查是否已设置 FIREWORKS_API_KEY,但不要打印其值;然后通过一次只读 SDK 调用(例如获取数据集或模型)验证账户。
  2. 如果缺少密钥,继续处理所有不需要密钥的事项(选择入门方案、起草计划),并只向用户说明一次如何添加密钥:在 https://app.fireworks.ai/settings/users/api-keys 创建密钥,然后在 Agent 的终端中运行 read -s FIREWORKS_API_KEY && export FIREWORKS_API_KEY,或将其放入已添加到 git 忽略规则的 .env 文件中。

绝不要在聊天中索要 API 密钥、回显密钥,或从其他工具的凭据文件中读取密钥。请在每个 Python 进程中加载 .env。

最简单的路径

选择最简单的兼容界面,并在计划中说明。最终计划审批即表示确认。

工作负载默认方案
对聊天 JSONL(文本或视觉)进行普通 SFT通过 SDK supervised_fine_tuning_jobs 执行托管 SFT
用户希望使用自己的循环、在会话中评估,或编写 Tinker 风格的代码无服务器训练 API
RL、无服务器环境中的 DPO、蒸馏、自定义损失无服务器训练 API 配方
全参数训练、无服务器不支持的模型、预留容量、自定义基础设施专用训练

这些是训练界面。调优后的模型始终需要按需部署才能提供服务;请参阅 ../fireworks-training/references/getting-started.md 中的训练与服务表格。 仅在其他路径不够简单时才使用专用训练;如果用户未说明原因就提出此方案,请先推荐更简单的路径。仅在难以取舍时使用 Q 路径(references/path-intake.md)。

入门方案与已知计划的快速路径

对于选定的入门方案、研究交接或规格完整的请求,如果证据充分,请在同一轮中执行只读预检并制定计划。不要设置形式化门槛;只询问无法安全确定或设为默认值的必要信息。下一个完整且获批的计划即可启动。

对于 Muse Glimmer 入门方案,请使用 training/examples/sft/muse_glimmer_starter.py(plan、launch、watch)和 ../research/references/starter-jobs.md。如果检出内容中缺少该脚本,请使用训练 API 快速参考中的 SDK 调用。

只读预检

尽可能少地调用即可确认:

  1. 所选界面上的账户、身份验证和模型支持情况。
  2. 数据集是否存在、状态是否为 READY、格式、行数和拆分情况。对于本地文件:检查架构、角色、空行或格式错误的行、重复项、数据泄漏和 token 长度。默认情况下,无法下载账户中的数据集。
  3. 相关的评估器、奖励或偏好数据契约。
  4. 留出评估和成功指标。
  5. Training API 工作对应的 Cookbook 提交版本和已安装 SDK 版本。

预检期间不要上传或创建资源。

成本

阅读 references/cost-estimation.md。直接比较路径时,先给出总成本,并推荐兼容路径中成本最低的方案,除非用户指定了其他优先事项。

  1. 只有在确定渲染后的 token 量、调优模式、确切路径上下文和当前公布费率后,才计算托管 SFT 或 DPO 成本。
  2. 根据训练器 token 计算无服务器 SFT 成本。对于 DPO,提供不含填充的基准值,其中包括策略训练 token 和一次性、完全未缓存的参考预填充;将填充和可选采样列为排除项。
  3. 严格按照 references/cost-estimation.md 应用注明日期的 Muse Glimmer LoRA SFT 促销(托管 SFT、无服务器训练 API SFT);RL 不在适用范围内。单独估算排除的操作。
  4. 除符合条件的 $0 促销 SFT 项目外,未进行视觉 token 核算时,不得计算视觉 SFT、DPO 或 RL 成本;视觉 token 仍决定上下文是否适用。
  5. 不得计算专用 SFT 或 DPO 成本。请引导用户访问 https://docs.fireworks.ai/fine-tuning/cost-estimator。
  6. 在计费契约有文档说明之前,不得计算托管 ORPO 成本。
  7. 将 RL、嵌入、IGPO 和蒸馏的成本估算交由 Training 团队处理,并提供特定方法的假设。

成本估算不能替代强制的最终计划确认。

强制最终计划关卡

在进行任何上传、评估器注册、付费推理、创建训练任务、提升检查点或部署之前,先展示一份完整计划:

  1. 账户、方法、工作流路径和执行界面。
  2. 基础模型、数据集、拆分、架构和行数。
  3. 评估器、奖励、损失和成功指标。
  4. 稳定的资源 ID。
  5. 每个用户设置的参数,以及创建前可确定的每个平台默认值。将无法获知的后端默认值标记为 platform-resolved, unknown before create;绝不猜测,也不因此停滞。创建后读取并报告该值。
  6. 费用明细、假设、未知项和定价来源。
  7. 监控、无进展超时、评估和资源拆除。

保持简洁:使用一张简短表格或一个列表,不要重复说明。请用户批准这份确切计划。任何方法、模型、参数、扫描范围或费用上限的变更,都需要重新确认。提升和部署需要分别确认;说明 Muse 提升不包含部署。

Agent 执行边界

只读的 get、list、配额和目录调用随时允许。 获得批准后,通过 SDK、REST API 或记录在案的操作手册配方自行执行变更。不要把你能执行的命令交给用户运行。

firectl 会通过 BLOCKED: mutating command 阻止 Agent 执行变更。不要通过 firectl 执行变更,也绝不要取消设置 Agent 检测变量或配置安全账户覆盖。如果无法使用 SDK 路径,请展示准确命令并请用户运行。

执行工作流

  1. 将已批准的计划和批准原文保存到 fireworks-training-runs/<run-id>/run.md。
  2. 使用稳定 ID 创建资源。如果响应丢失或报告 AlreadyExists,则查询计划中的 ID,仅在完全匹配时复用。
  3. 运行期间持续主动监控。状态本身不代表进展;报告数值信号(Managed 的 job_progress.percent 和轮次,或 Training API 的步数、损失和梯度范数)。根据 ../fireworks-training/references/execution-notes.md 检查渲染样本和队列状态。
  4. 达到已批准的无进展超时时,收集证据并转交 debug。在核对前一次运行之前,绝不启动替代运行。
  5. 完成后,报告终止状态、输出模型、测量指标、已产生费用,以及当前没有任何仍在运行的计费资源。
  6. 在同一留出集上评估基础模型和微调后的行为,并保留每个示例的预测结果以进行配对比较。仅在获得单独批准后部署,随后通过实际请求验证服务。
  7. 拆除计费资源并报告最终状态。

对于 Training API SFT 和 RL,在每次 optim_step 中传入 emit_grad_norm_metrics=True,并记录 result.metrics(详情)。

渐进式参考资料

需求参考资料
路径接收references/path-intake.md
成本约定references/cost-estimation.md
配置响应格式;实时执行详情references/output-template.md; ../fireworks-training/references/execution-notes.md
安装和身份验证../fireworks-training/references/getting-started.md
方法和数据选择../fireworks-training/references/choose-method.md
偏好数据和评估器../fireworks-training/references/preference-data-and-evaluators.md
托管式 RFT(已弃用;仅限现有任务)../fireworks-training/references/managed-rft-operations.md, ../fireworks-training/references/rft-agent-tracing.md
训练 API 和损失../fireworks-training/references/training-api.md, ../fireworks-training/references/training-api-losses.md
安全训练../fireworks-training/references/secure-training-operations.md
模型和格式../fireworks-training/references/models-shapes-and-cost.md
运行状态、部署、错误../fireworks-training/references/run-state-and-reporting.md, ../fireworks-training/references/deploy-and-troubleshoot.md, ../fireworks-training/references/error-reference.md
SDK../fireworks-training/references/sdk-recipes.md, ../fireworks-training/references/sdk-setup.md, ../fireworks-training/references/sdk-examples.md, ../fireworks-training/references/sdk-migrate.md, ../fireworks-training/references/sdk-shapes.md, ../fireworks-training/references/sdk-checkpoints.md, ../fireworks-training/references/sdk-tools.md, ../fireworks-training/references/sdk-distillation.md
RL../fireworks-training/references/rl-custom-loss.md, ../fireworks-training/references/rl-gradient-accumulation.md, ../fireworks-training/references/rl-async.md, ../fireworks-training/references/rl-agentic.md, ../fireworks-training/references/rl-concurrency.md, ../fireworks-training/references/rl-dynamic-filter.md, ../fireworks-training/references/async-rl-metrics.md, ../fireworks-training/references/rl-hotload.md, ../fireworks-training/references/rl-sampling-timeouts.md
步骤指标和追踪../fireworks-training/references/step-metrics.md, ../fireworks-training/references/client-phase-tracing.md
渲染器../fireworks-training/references/renderer.md, ../fireworks-training/references/renderer-verification.md
旅程遥测../fireworks-training/references/telemetry.md, ../fireworks-training/references/telemetry-notice.md

不可妥协的要求

  1. 上传前在本地验证;报告有问题的行和建议的修复方法,而不是悄悄丢弃或改写它们。
  2. 优先选择最简单的兼容路径:托管式,然后是无服务器,最后是专用。
  3. 优先使用维护中的 cookbook 配方,而不是从空白开始编写自定义循环。
  4. 区分配额、计费、容量、用户配置和平台故障。
  5. 切勿泄露凭据、客户数据、原始答案或私有路径。

评论

支持 Markdown