together-evaluations

Together AI 評価

概要

その場しのぎのプロンプトループではなく、管理された LLM-as-a-judge ワークフローをユーザーが求めている場合は、Together AI 評価を使用します。

主な評価タイプ：

• Classify：出力をラベルに分類します
• Score：出力を数値スケールで採点します
• Compare：バイアスを制御しながら、2 つの候補出力を比較します

このスキルでは、ワークフローが引き続き Together AI の評価システムを通じて実行される場合に、ジャッジまたは評価対象として使用する外部プロバイダーも扱います。

このスキルを使う場面

• プロンプトのバリエーション、モデル、または製品の応答をベンチマークする
• 品質、安全性、ポリシーへの準拠、またはタスクの達成度を評価する
• モデル出力の A/B 比較を実行する
• アップロードしたデータセットを使って、再現可能な評価ジョブを構築する
• 非同期実行後に、プログラムから結果を取得する

別のスキルに引き継ぐ場合

• 1 回限りの推論や手動のジャッジプロンプトには together-chat-completions を使用します
• 評価ではなく、大量のオフライン生成には together-batch-inference を使用します
• モデルを測定するだけでなく改善したい場合は、together-fine-tuning を使用します
• 評価対象そのものが専用エンドポイントの場合に限り、together-dedicated-model-inference を使用します

すばやく確認する手順

• Classify／Score／Compare ジョブの設定
  • scripts/run_evaluation.py または scripts/run_evaluation.ts から始めます
  • 正確なリクエスト形式については、references/api-reference.md を読みます
• データセットの形式
  • references/api-reference.md のデータセットに関するセクションを読みます
• データセットの列、Jinja2 テンプレート、または事前生成済みの応答
  • references/api-reference.md のデータセットおよびテンプレートに関するセクションを読みます
  • スクリプトで --eval-column、--model-a-column、または --model-b-column を使用します
• 画像入力を使った視覚対応モデルの評価
  • references/api-reference.md の画像入力に関するセクションを読みます
  • データセットに image_data_urls 列（base64 データ URL）を追加します。モデルとジャッジの両方が視覚に対応している必要があります
• ジャッジまたは評価対象としての外部プロバイダー
  • references/api-reference.md のモデルソースおよびプロバイダーに関するセクションを読みます
  • --judge-model-source external、--eval-model-source external、または比較対象側のソースフラグを指定してスクリプトを使用します
• 結果のポーリング、一覧表示、またはダウンロード
  • references/api-reference.md に記載されている結果取得用エンドポイントを使用します
  • 行ごとの JSONL をローカルに保存する場合は、スクリプトで --download-results を使用します

ワークフロー

1. ユーザーが必要としているのが classify、score、compare のどれかを特定します。
2. コードを書く前に、データセットのスキーマを定義します。
3. データセットを eval ファイルとしてアップロードし、返されたファイル ID を保持します。
4. 特にプロバイダーを混在させる場合は、ジャッジモデルと対象モデルを明示的に設定します。
5. 完了するまでステータスをポーリングし、その後、分析用に結果ファイルをダウンロードします。

特に重要なルール

• Python スクリプトには Together v2 SDK（together>=2.0.0）が必要です。古いバージョンを使用している場合は、先にアップグレードする必要があります：uv pip install --upgrade "together>=2.0.0"。
• このリポジトリの現在の SDK の例では、ローカルファイルの検証によって eval データセットが誤って分類されることがあるため、eval のアップロードに check=False を使用しています。
• データセットのスキーマは製品の契約の一部として扱います。フィールドに一貫性がないと、後続の処理で混乱が生じます。
• 比較評価は、両方の候補応答がすでにデータセットに含まれている場合に最適です。
• ジャッジの設定は明示的にします。隠れたデフォルトがあると、ベンチマークの解釈が難しくなります。
• 再現性が重要な場合は、手動のジャッジループを独自に構築するのではなく、Together AI の管理された評価ジョブを使用します。

リソースマップ

• API リファレンス全体: references/api-reference.md
• データセット形式、Jinja2 テンプレート、プロバイダーのショートカット: references/api-reference.md
• Python ワークフロー: scripts/run_evaluation.py
• TypeScript ワークフロー: scripts/run_evaluation.ts

公式ドキュメント

• AI 評価
• 評価 API