start

開始

このプラグインでは、評価作業を目的別のスキルに分割しています。ここでの作業は簡単です。以下の表からユーザーの状況に合う行を見つけ、どのスキルを読み込むのか、その理由とともにユーザーに伝えてから、そのスキルを読み込み、独自のやり方で進めずに、最初から最後までそのワークフローに従ってください。

状況	読み込むスキル
トレースがあり、失敗モードを見つけたいが、確立された分類体系がまだない	error-discovery
既存の評価パイプラインがあり、信頼できるかどうかを知りたい	eval-audit
既知の失敗モードがあり、それを判定する LLM ジャッジが必要	write-judge-prompt
LLM ジャッジまたは評価器があり、その品質を確認したい	validate-evaluator
レビューするトレースがまだない	generate-synthetic-data、続けて error-discovery
別のラベリングタスク用にカスタムのアノテーションインターフェースを作りたい	build-review-interface
RAG パイプラインを評価したい	evaluate-rag

トレースを手元に用意したうえでエラー分析に言及するリクエストのほとんどは、error-discovery に該当します。既存のパイプラインがある新しいユーザーには、通常、まず eval-audit が必要です。このファイルには、振り分けに関する情報のみが記載されています。どの行が当てはまるか判断に迷った場合は、推測せずユーザーに確認してください。ワークフローは、対象のスキルに記載されています。