mcpField
C
compare-models

compare-models

github.com/replicate开发1442.2k 次安装21 周前更新
代码仓库

关于 compare-models

compare-models 是一项围绕 Replicate 模型筛选与测试的技能,面向需要按成本、延迟、质量和能力选择模型的用户。它覆盖从建立候选名单到运行测试预测的比较流程。

主要功能

  1. 01搜索模型并建立候选名单
  2. 02读取模型输入输出架构
  3. 03检查定价与预测耗时
  4. 04批量测试并比较输出
  5. 05权衡成本、延迟与质量

适用场景

  1. 01为图像任务筛选候选模型
  2. 02比较模型的推理耗时与成本
  3. 03检查模型支持的输入和输出
  4. 04用相同提示词评估生成结果

MCP 相关

README 提及 Replicate MCP server,但未说明此技能如何使用或连接它。

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/replicate/skills --skill compare-models

安装后在 Claude Code 中输入/compare-models确认已加载。

详细介绍

文档

工作流

  1. 搜索或浏览模型集合,整理出候选模型清单。
  2. 获取每个模型的 schema,以比较输入、输出和功能。
  3. 从模型元数据或 Replicate 网站查看定价。
  4. 运行一小批测试预测,比较输出质量。
  5. 选择最符合你约束(成本、延迟、质量)的模型。

比较要点

  • 速度:查看已完成预测的 metrics.predict_time,了解实际推理时间。官方模型始终处于预热状态。社区模型可能需要冷启动。
  • 成本:官方模型的单次运行定价可预测。社区模型按计算时间(GPU 秒)收费。运行几次预测,并查看 metrics 字段了解实际成本。
  • 质量:让每个模型运行相同的提示词并比较输出。质量是主观的。应根据你的使用场景选择,而不是依赖排行榜。
  • 功能:比较输入 schema,了解支持的功能(参考图像、蒙版、宽高比、流式传输、多图像输入)。查看输出格式。

主要取舍

  • 成本最低:较小或蒸馏模型。需接受推理速度较慢、质量较低。
  • 延迟最低:官方模型或 schnell/turbo 变体。需接受单次运行成本较高。
  • 质量最高:pro/max/quality 变体。需接受速度较慢、成本较高。
  • 控制力最强:支持 ControlNet、蒙版或参考图像的模型。需接受更复杂的输入设置。

官方模型与社区模型

  • 官方模型:始终处于预热状态,API 稳定,定价可预测,由 Replicate 维护。
  • 社区模型:可能需要冷启动,可能需要固定版本,由作者维护。
  • 如果社区模型符合你的需求,而官方模型不符合,可考虑创建部署以确保持续运行。

提示词指南

有关提示词技巧和针对具体任务的指南:

评论

支持 Markdown