evaluations

評価リクエストの振り分け

これは互換性のためのスキルです。このスキルから実験、モニター、ガードレールを作成しないでください。

ユーザーの意図を分類します。

意図	適切なスキル
データセットを一括テストする、プロンプトやモデルを比較する、ベンチマークを実施する、CI 品質ゲートを作成する	experiments
ライブトレースやスレッドを採点する、本番環境の品質をモニタリングする、ガードレールを作成する	online-evaluations

コンテキストを確認してもリクエストが曖昧なままの場合（データセットにもライブトラフィックにも言及しない単なる「評価を作って」という依頼など）、まだ何も作成しないでください。これは何をテストするかを選ぶことなので、デフォルトで決めるのではなく、ユーザーが選ぶべきです。質問カードとして尋ねて、そこで止めてください。回答は次のメッセージで届きます。

Langy では、question ツールを使って尋ね、そこで止めてください。選択肢には、たとえば「デプロイ前のデータセット」と「本番環境のライブトラフィック」のように、具体的な選択肢を示します。それ以外の環境では、同じ質問を短い一文で尋ねてください。

拒否されたフィールド値は、この種の選択ではありません。作成が後で失敗し、その理由にフィールド名と expected のリストが含まれる validation_error が返された場合は、そのリストから該当フィールドを修正して、一度だけ再試行してください。修正可能なスラッグについて、ユーザーに質問してはいけません。

その後、次のように引き継ぎます。

1. 適切な連携スキルが利用可能な場合は、読み込んで、ここで作業を続けるのではなく、そのスキルの指示に従ってください。

2. experiments が見つからない場合は、次のコマンドでインストールするようユーザーに伝えてください。

   npx [email protected] add langwatch/skills/experiments
   

3. online-evaluations が見つからない場合は、次のコマンドでインストールするようユーザーに伝えてください。

   npx [email protected] add langwatch/skills/online-evaluations
   

連携スキルの指示を記憶から再現しないでください。現在のワークフロー、安全性の確認、検証手順に従えるよう、該当するスキルを読み込んでください。