evaluate

必須の事前準備

/agent-workflow を呼び出してください。ここには、ワークフローの原則、アンチパターン、および Context Gathering Protocol が含まれています。先に進む前にこのプロトコルに従ってください。ワークフローのコンテキストがまだない場合は、必ず先に /teach-maestro を実行してください。 評価パターン、ゴールデンテストセット、回帰検出については、agent-workflow スキルの feedback-loops リファレンスを参照してください。

---

実際の利用を想定したシナリオでワークフローをテストし、実際の対話品質を評価してください。

評価の観点

1. タスクの完了度

• ワークフローは本来の目的を実際に達成していますか？
• 正常系だけでなく、タスク全体に対応していますか？
• エッジケースに対応していますか？ それとも気づかないまま取りこぼしていますか？

2. 出力品質

• 出力は正確で、完全で、適切にフォーマットされていますか？
• 定義された出力スキーマ（ある場合）に一致していますか？
• その分野の専門家が出力を承認できますか？

3. エラー時の動作

• 不正な形式の入力があった場合、どうなりますか？
• ツールが失敗した場合、どうなりますか？
• モデルが確信を持てない場合、どうなりますか？
• エラーメッセージは有用ですか？ それとも一般的な内容ですか？

4. ユーザーエクスペリエンス

• 対話は自然で直感的ですか？
• 破壊的な操作の前に確認を求めますか？
• 応答時間は許容範囲内ですか？
• ワークフローは自身の限界を伝えていますか？

5. 一貫性

• 同じ入力に対して、出力品質は一貫していますか？
• 再現性のないランダムな失敗はありますか？
• 長い会話の中で品質が低下しますか？

シナリオテスト

テストシナリオを作成して実行してください。

シナリオ	入力	期待結果	実際の結果	評価
正常系	通常の入力	正しい出力	?	A-F
エッジケース	特殊な入力	適切な処理	?	A-F
エラーケース	不正な入力	有用なエラーメッセージ	?	A-F
ストレスケース	大規模／複雑な入力	妥当な処理	?	A-F
敵対的ケース	ひっかけのある／悪意のある入力	安全な応答	?	A-F

評価レポート

次の内容を含む、構造化されたレポートを作成してください。

1. 総合品質評価（A-F）
2. 根拠を示した、各評価観点のスコア
3. 個別シナリオの結果
4. Maestro の推奨コマンドを含む、優先度付きの改善案

評価チェックリスト

• 具体的なシナリオで5つの評価観点すべてをテストした
• 少なくとも1つのエッジケースと1つの敵対的ケースをテストした
• シナリオ表に結果を記録した
• 根拠を添えて総合評価を付けた
• 改善アクションで具体的な Maestro コマンドを参照した

推奨される次のステップ

評価後、/fortify を実行してエラー時の動作に関する不足に対処するか、出力品質を改善するために /refine を実行するか、継続的な品質モニタリングを設定するために /iterate を実行してください。

絶対にしてはいけないこと：

• 理論上の評価だけで済ませること。実際にシナリオを実行してください
• すべての種類のシナリオにワークフローが十分に対応できない限り、A評価を付けること
• ユーザー向けワークフローの敵対的テストを省略すること
• 正常系だけを評価すること