compare-models について
compare-models は、Replicate のモデルを絞り込み、テストするスキルです。コスト、レイテンシ、品質、機能を基準にモデルを選ぶため、候補作成から予測テストまでの手順を示します。
主な機能
- 01モデルを検索して候補を作成
- 02入出力スキーマを確認
- 03料金と予測時間を確認
- 04複数の予測を試して出力を比較
- 05コスト・レイテンシ・品質を検討
活用シーン
- 01画像タスク向けの候補モデル選定
- 02推論時間と料金の比較
- 03対応する入力と出力の確認
- 04同じプロンプトで生成結果を評価
MCP 対応
README には Replicate MCP サーバーへの言及がありますが、このスキルでの利用方法や接続方法は説明されていません。
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ replicate/ skills --skill compare-modelsインストール後、Claude Code で/compare-modelsを入力して読み込まれたか確認します。
詳細
ドキュメント
- リファレンス:https://replicate.com/docs/llms.txt
- OpenAPI スキーマ:https://api.replicate.com/openapi.json
- MCP サーバー:https://mcp.replicate.com
- モデルごとのドキュメント:
https://replicate.com/{owner}/{model}/llms.txt - Markdown 形式のレスポンスを取得するには、ドキュメントページへのリクエストで
Accept: text/markdownを設定してください。
ワークフロー
- コレクションを検索または閲覧して、候補モデルを絞り込みます。
- 各モデルのスキーマを取得し、入力、出力、機能を比較します。
- モデルのメタデータまたは Replicate のウェブサイトで料金を確認します。
- 少数の予測をテスト実行し、出力品質を比較します。
- 制約(コスト、レイテンシ、品質)に最も適したモデルを選びます。
比較する項目
- 速度:完了した予測の
metrics.predict_timeを確認し、実際の推論時間を把握します。公式モデルは常にウォーム状態です。コミュニティモデルはコールドブートすることがあります。 - コスト:公式モデルの料金は実行ごとに予測可能です。コミュニティモデルは計算時間(GPU 秒)に基づいて課金されます。予測をいくつか実行し、
metricsフィールドで実際のコストを確認します。 - 品質:各モデルに同じプロンプトを入力して、出力を比較します。品質は主観的なものです。リーダーボードではなく、用途に合わせて選びます。
- 機能:入力スキーマを比較し、対応機能(参照画像、マスク、アスペクト比、ストリーミング、複数画像入力)を確認します。出力形式も確認します。
主なトレードオフ
- 最低コスト:小型モデルまたは蒸留モデルです。推論速度と品質の低下を許容します。
- 最低レイテンシ:公式モデル、または schnell/turbo バリアントです。実行ごとのコスト増加を許容します。
- 最高品質:pro/max/quality バリアントです。推論速度の低下とコスト増加を許容します。
- 最大限の制御:ControlNet、マスク、参照画像に対応したモデルです。入力設定の複雑さを許容します。
公式モデルとコミュニティモデル
- 公式モデル:常にウォーム状態で、API が安定しており、料金が予測可能で、Replicate によって保守されています。
- コミュニティモデル:コールドブートすることがあり、バージョンの固定が必要で、作者によって保守されています。
- コミュニティモデルが要件を満たし、公式モデルが満たさない場合は、稼働時間を安定させるためにデプロイメントの作成を検討してください。
プロンプトのガイダンス
プロンプトのテクニックとタスク別のガイダンスについては、以下を参照してください。
- 画像生成と編集:prompt-images スキルを参照してください。
- 動画生成:prompt-videos スキルを参照してください。
コメント
Markdown 対応