evals-start

評価の開始

このプラグインでは、評価作業を目的別のスキルに分けています。ここでの作業は簡単です。以下の表からユーザーの状況に当てはまる行を見つけ、どのスキルを読み込むのか、またその理由をユーザーに伝えてから、そのスキルを読み込み、独自の方法を即興で考えるのではなく、最初から最後までそのワークフローに従ってください。

状況	読み込むスキル
トレースがあり、失敗モードを見つけたいが、確立された分類体系はまだない	error-discovery
既存の評価パイプラインがあり、信頼できるかどうかを知りたい	eval-audit
コードで確認できる既知の失敗モードがある（例：形式、スキーマ、正規表現、実行）	write-code-eval
既知の失敗モードがあり、LLM ジャッジを作成したい	write-judge-prompt
LLM ジャッジまたは評価器があり、その品質を確認したい	validate-evaluator
レビューするトレースがまだない	generate-synthetic-data、次に error-discovery
別のラベリングタスク用にカスタムのアノテーションインターフェースを作成したい	build-review-interface
RAG パイプラインを評価したい	evaluate-rag

トレースが手元にある状態でエラー分析について尋ねている場合は、ほとんどの場合 error-discovery が該当します。既存のパイプラインがある新規ユーザーには、通常、まず eval-audit が必要です。このファイルにはルーティング情報のみが記載されています。どの行が当てはまるか判断に迷った場合は、推測せずにユーザーに尋ねてください。ワークフローは対象のスキルに記載されています。