关于 compare-models
compare-models 是一项围绕 Replicate 模型筛选与测试的技能,面向需要按成本、延迟、质量和能力选择模型的用户。它覆盖从建立候选名单到运行测试预测的比较流程。
主要功能
- 01搜索模型并建立候选名单
- 02读取模型输入输出架构
- 03检查定价与预测耗时
- 04批量测试并比较输出
- 05权衡成本、延迟与质量
适用场景
- 01为图像任务筛选候选模型
- 02比较模型的推理耗时与成本
- 03检查模型支持的输入和输出
- 04用相同提示词评估生成结果
MCP 相关
README 提及 Replicate MCP server,但未说明此技能如何使用或连接它。
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ replicate/ skills --skill compare-models安装后在 Claude Code 中输入/compare-models确认已加载。
详细介绍
文档
- 参考资料:https://replicate.com/docs/llms.txt
- OpenAPI schema:https://api.replicate.com/openapi.json
- MCP 服务:https://mcp.replicate.com
- 各模型文档:
https://replicate.com/{owner}/{model}/llms.txt - 请求文档页面以获取 Markdown 响应时,请设置
Accept: text/markdown。
工作流
- 搜索或浏览模型集合,整理出候选模型清单。
- 获取每个模型的 schema,以比较输入、输出和功能。
- 从模型元数据或 Replicate 网站查看定价。
- 运行一小批测试预测,比较输出质量。
- 选择最符合你约束(成本、延迟、质量)的模型。
比较要点
- 速度:查看已完成预测的
metrics.predict_time,了解实际推理时间。官方模型始终处于预热状态。社区模型可能需要冷启动。 - 成本:官方模型的单次运行定价可预测。社区模型按计算时间(GPU 秒)收费。运行几次预测,并查看
metrics字段了解实际成本。 - 质量:让每个模型运行相同的提示词并比较输出。质量是主观的。应根据你的使用场景选择,而不是依赖排行榜。
- 功能:比较输入 schema,了解支持的功能(参考图像、蒙版、宽高比、流式传输、多图像输入)。查看输出格式。
主要取舍
- 成本最低:较小或蒸馏模型。需接受推理速度较慢、质量较低。
- 延迟最低:官方模型或 schnell/turbo 变体。需接受单次运行成本较高。
- 质量最高:pro/max/quality 变体。需接受速度较慢、成本较高。
- 控制力最强:支持 ControlNet、蒙版或参考图像的模型。需接受更复杂的输入设置。
官方模型与社区模型
- 官方模型:始终处于预热状态,API 稳定,定价可预测,由 Replicate 维护。
- 社区模型:可能需要冷启动,可能需要固定版本,由作者维护。
- 如果社区模型符合你的需求,而官方模型不符合,可考虑创建部署以确保持续运行。
提示词指南
有关提示词技巧和针对具体任务的指南:
评论
支持 Markdown