agents-optimize

最適化

評価、モニタリング、可観測性を通じて、AgentCore エージェントの品質を測定し、向上させます。

使用するタイミング

• エージェントが適切な回答を返しているか確認したい場合
• 本番環境で継続的な品質モニタリングを設定したい場合
• CI/CD パイプラインに品質ゲートを追加したい場合
• ログ、メトリクス、トレースを通じてエージェントの動作を理解したい場合
• CloudWatch ダッシュボードや X-Ray トレーシングを設定したい場合

次の用途には使用しないでください。

• 特定のエージェントの問題（誤った回答、エラー）のデバッグ → agents-debug を使用してください
• 本番環境のセキュリティ強化（IAM、認証） → agents-harden を使用してください

入力

$ARGUMENTS には次のいずれかを指定できます。

• 評価の目標：「品質ゲートを追加する」、「モニタリングを設定する」
• 可観測性の目標：「CloudWatch ダッシュボードを設定する」、「トレースを理解する」
• 特定の評価器：「llm-as-a-judge」、「code-based」
• 空 — スキルがプロジェクトのコンテキストに基づいて案内します

手順

ステップ 0：CLI のバージョンを確認する

agentcore --version を実行します。このスキルには v0.9.0 以降が必要です。

ステップ 1：プロジェクトのコンテキストを読み取る

agentcore/agentcore.json を読み取り、既存の評価器、オンライン評価の設定、エージェントのセットアップを確認します。

agentcore/agentcore.json が見つからない場合：

「このスキルには AgentCore プロジェクトが必要です。agents-get-started を使用して作成してください。」

ステップ 2：ワークフローを決定する

開発者の意図	アクション
品質を測定する、評価器を追加する、評価を実行する、CI/CD ゲートを設定する、オンラインモニタリングを行う	references/evals.md を読み込み、そのワークフローに従います
可観測性、CloudWatch、X-Ray、ログ、メトリクス、ダッシュボードを設定する	references/observability.md を読み込み、そのワークフローに従います
AgentCore のコストを把握または削減する	references/cost.md を読み込みます
両方 — 「エージェントを理解し、改善したい」	まず可観測性を設定し、その後評価を追加します

ステップ 3：読み込んだリファレンスに従う

リファレンスファイルには手順がすべて記載されています。順を追って従ってください。

関連項目

• 評価を設定した後、本番環境への対応準備として agents-harden を提案します
• 評価結果からエージェントの問題が判明した場合は、根本原因の分析に agents-debug を提案します
• 開発者がまず機能を追加する必要がある場合は、agents-build を提案します

出力

ワークフローによって異なります。具体的な出力については、読み込んだリファレンスを参照してください。

品質基準

• 評価器の設定には、有効な CLI フラグのみを使用します
• オンライン評価のサンプリング率は適切に設定します（本番環境で、相談なく 100% に設定しないでください）
• CI/CD の品質ゲートには、明確な合否のしきい値を設定します
• 可観測性の設定には、トレーシングとロギングの両方を含めます
• 開発者が評価データの遅延を把握しています：put-to-get はエンドツーエンドで約 10 秒 — 1 回の取り込みステップでトレースの読み取りと評価クエリの両方が処理されます。個別のインデックス作成待ちはありません