mcpField
S
sf-ai-agentforce-testing

sf-ai-agentforce-testing

github.com/jaganproテスト・品質4241.3k 回インストール26 週間前に更新
リポジトリ

sf-ai-agentforce-testing について

デプロイ、公開、有効化後のSalesforce Agentforceエージェントを正式にテストするスキルです。マルチターンのランタイムテストとCLI Testing Centerに対応し、カバレッジ分析と段階的な修正ワークフローを提供します。

主な機能

  1. 01Agent Runtime APIのマルチターンテスト
  2. 02CLI Testing Centerと`sf agent test`
  3. 03トピックとアクションのカバレッジ分析
  4. 04ガードレールとエスカレーションの検証
  5. 05段階的なテスト・修正ワークフロー

活用シーン

  1. 01マルチターン会話のコンテキスト維持を検証
  2. 02トピックルーティングとアクション呼び出しを確認
  3. 03YAML形式のCLIテスト仕様を実行
  4. 04有効化後のカバレッジ不足を特定

MCP 対応

MCPサーバーやクライアント連携については記載されておらず、Agent Runtime APIとSalesforce CLIによるAgentforceテストを対象とします。

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/jaganpro/sf-skills --skill sf-ai-agentforce-testing

インストール後、Claude Code で/sf-ai-agentforce-testingを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

CREDITS.md
LICENSE
assets/
agentscript-test-spec.yaml
basic-test-spec.yaml
cli-auth-guardrail-tests.yaml
cli-deep-history-tests.yaml
comprehensive-test-spec.yaml
context-vars-test-spec.yaml
custom-eval-test-spec.yaml
escalation-tests.yaml
guardrail-tests.yaml
multi-turn-agentscript-comprehensive.yaml
multi-turn-comprehensive.yaml
multi-turn-context-preservation.yaml
multi-turn-escalation-flows.yaml
multi-turn-topic-routing.yaml
standard-test-spec.yaml
test-plan-template.yaml
hooks/scripts/
agent_api_client.py
agent_discovery.py
credential_manager.py
generate_multi_turn_scenarios.py
generate-test-spec.py
multi_turn_fix_loop.py
multi_turn_test_runner.py
parse-agent-test-results.py
rich_test_report.py
run-automated-tests.py
test-fix-loop.sh
trace_analyzer.py

詳細

sf-ai-agentforce-testing：Agentforce のテスト実行とカバレッジ分析

ユーザーが正式な Agentforce テストを必要としている場合は、このスキルを使用します。対象には、複数ターンの会話検証、CLI Testing Center の仕様、トピック／アクションのカバレッジ分析、プレビューのチェック、公開後の構造化されたテスト・修正ループが含まれます。

このスキルが担当するタスク

以下の作業では、sf-ai-agentforce-testing を使用します。

  • sf agent test のワークフロー
  • 複数ターンの Agent Runtime API テスト
  • トピックのルーティング、アクションの呼び出し、コンテキストの保持、ガードレール、エスカレーションの検証
  • テスト仕様の生成とカバレッジ分析
  • 公開後／有効化後のテスト・修正ループ

以下の場合は、ほかのスキルに委任します。

基本的な運用ルール

  • テストはデプロイ／公開／有効化の後に行います。
  • 会話の継続性が重要な場合は、複数ターンの API テストを主な方法として使用します。
  • 単一発話のテストや、組織でサポートされている Testing Center のワークフローには、CLI Testing Centerを補助的な方法として使用します。
  • 対話型およびプログラムによる CLI プレビューでは、標準の sf org login web 認証を使用します。ECA が必要なのは Agent Runtime API テストのみであり、ライブプレビューには必要ありません。
  • Agent Script の変更が必要な場合、エージェントの修正は sf-ai-agentscript に委任します。
  • ECA フローで OAuth トークンを検証するために、curl を直接使用しないでください。提供されている認証情報ツールを使用してください。
スクリプトパスのルール

以下にある既存のスクリプトを使用します。

  • ~/.claude/skills/sf-ai-agentforce-testing/hooks/scripts/

これらのスクリプトは事前に承認されています。再作成しないでください。

最初に収集する必要がある情報

以下を確認するか、推定します。

  • エージェントの API 名／開発者名
  • 対象組織のエイリアス
  • テストの目的：スモークテスト、回帰テスト、カバレッジの拡張、またはバグの再現
  • エージェントがすでに公開され、有効化されているかどうか
  • 組織で Agent Testing Center を利用できるかどうか
  • Agent Runtime API テスト用の ECA 認証情報を利用できるかどうか

事前確認：

  1. エージェントを特定する
  2. 公開／有効化の状態を確認する
  3. 依存関係（Flows、Apex、データ）を検証する
  4. テストトラックを選択する

2 つのトラックによるワークフロー

トラック A — 複数ターンの API テスト（主な方法）

以下が必要な場合に使用します。

  • 複数ターンの会話テスト
  • トピックの再マッチングの検証
  • コンテキスト保持のチェック
  • 複数ターンにわたるエスカレーションまたはアクションチェーンの分析

必要なもの：

  • ECA／認証の設定
  • エージェントのランタイムへのアクセス
トラック B — CLI Testing Center（補助的な方法）

以下が必要な場合に使用します。

  • 組織ネイティブの sf agent test ワークフロー
  • テスト仕様 YAML の実行
  • 手早い単一発話の検証
  • Testing Center が利用できる環境での、CLI を中心とした CI/CD の使用
手動で行う簡易手順

正式なテスト一式を使わずに手動で検証する場合は、まずプレビューのワークフローを使用し、必要に応じてトラック A または B に進みます。

推奨ワークフロー

1. 特定して検証する
  • 対象組織でエージェントを特定する
  • 公開および有効化されていることを確認する
  • 必要なアクション／Flows／Apex が存在することを確認する
  • 依頼に合うトラック A または B を決定する
2. テストを計画する

少なくとも以下をカバーします。

  • 主なトピック
  • 期待されるアクション
  • ガードレール／対象外の話題への対応
  • エスカレーションの挙動
  • 表現のバリエーション
3. 適切なトラックを実行する
トラック A
  • 提供されているツールで ECA 認証情報を検証する
  • シナリオ生成に必要なメタデータを取得する
  • 提供されている Python スクリプトで複数ターンのシナリオを実行する
  • ターンごとの失敗とカバレッジを分析する
トラック B
  • フラットな YAML テスト仕様を生成または調整する
  • sf agent test コマンドを実行する
  • 構造化された結果と詳細なアクション出力を確認する
4. 失敗を分類する

典型的な失敗の分類：

  • トピックが一致しない
  • 誤ったトピックが一致する
  • アクションが呼び出されない
  • 誤ったアクションが選択される
  • アクションの呼び出しに失敗する
  • コンテキスト保持の失敗
  • ガードレールの失敗
  • エスカレーションの失敗
5. 修正ループを実行する

失敗からエージェント作成上の問題が示唆される場合：

  • 修正をsf-ai-agentscriptに委任します
  • 必要に応じて再公開／再有効化します
  • 全体的な回帰テストの前に、対象を絞ったテストを再実行します

テストのガードレール

以下は必ず実施してください：

  • 公開／有効化した後にのみテストする
  • 有害な内容／トピック外の内容／拒否のシナリオを含める
  • 重要なトピックごとに複数の言い回しを使う
  • API テスト後にセッションをクリーンアップする
  • スウォーム実行は小規模かつ制御された状態に保つ

以下のアンチパターンは避けてください：

  • 未公開のエージェントをテストする
  • 正常系の発話を1つ試しただけで網羅できたとみなす
  • ECA のシークレットをリポジトリ内のファイルに保存する
  • シェル展開に依存する壊れやすいcurlコマンドで認証をデバッグする
  • 原因を切り分けずに、テストとエージェントの両方を同時に変更する

出力形式

実行が完了したら、次の順番で報告します：

  1. 使用したテストトラック
  2. 実行した内容
  3. 合否の概要
  4. カバレッジのギャップ
  5. 根本原因の傾向
  6. 推奨する修正ループ／次のテスト手順

推奨形式：

Agent: <name>
Track: Multi-turn API | CLI Testing Center | Preview
Executed: <specs / scenarios / turns>
Result: <passed / partial / failed>
Coverage: <topics, actions, guardrails, context>
Issues: <highest-signal failures>
Next step: <fix, republish, rerun, or expand coverage>

スキル間の連携

必要な作業委任先理由
Agent Script のロジックを修正するsf-ai-agentscriptオーサリングと決定論的な修正ループ
テストデータを作成するsf-dataアクションですぐに利用できるデータのセットアップ
Flow に基づくアクションを修正するsf-flowFlow の修復
Apex に基づくアクションを修正するsf-apexApex の修復
Agent Runtime API 用に ECA／OAuth を設定するsf-connected-apps認証とアプリの設定
セッションのテレメトリを分析するsf-ai-agentforce-observabilitySTDM／トレースの分析

参照マップ

まずはこちら
実行／認証
カバレッジ／修正ループ
高度な内容／専門分野
テンプレート／アセット

スコアガイド

スコア意味
90+本番環境への準備状況を高い信頼性でテスト済み
80–89軽微なギャップを除き、十分なカバレッジ
70–79許容範囲ですが、カバレッジの拡大を推奨
60–69部分的な検証のみ
< 60信頼性が不十分です。リリースをブロックしてください

コメント

Markdown 対応