mcpField
S
sf-ai-agentforce-observability

sf-ai-agentforce-observability

github.com/jaganproエージェントワークフロー4241.3k 回インストール26 週間前に更新
リポジトリ

sf-ai-agentforce-observability について

sf-ai-agentforce-observability は、Salesforce Agentforce のセッショントレースデータを抽出・分析するスキルです。Parquet と Polars を使った大規模データ分析や、トレースに基づくエージェントのデバッグに対応します。

主な機能

  1. 01Data 360 API によるセッショントレース抽出
  2. 02テレメトリデータの Parquet 保存
  3. 03Polars による大規模データ分析
  4. 04セッションタイムラインの再構築
  5. 05ルーティング、失敗、遅延の調査

活用シーン

  1. 01Agentforce のセッション数と所要時間の確認
  2. 02トピックルーティングの不一致やアクション失敗の特定
  3. 03エージェントセッションの遅延箇所の発見

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/jaganpro/sf-skills --skill sf-ai-agentforce-observability

インストール後、Claude Code で/sf-ai-agentforce-observabilityを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

.gitignore
CREDITS.md
LICENSE
README.md
assets/analysis/
message-timeline.py
session-summary.py
step-distribution.py
assets/queries/
interactions.sql
messages.sql
sessions.sql
steps.sql
hooks/scripts/
suggest-analysis.py
validate-extraction.py
references/
agent-execution-lifecycle.md
analysis-cookbook.md
analysis-examples.md
auth-setup.md
basic-extraction.md
billing-and-troubleshooting.md
builder-trace-api.md
cli-reference.md
client-demo-queries.md
data-model-reference.md
debugging-sessions.md
filtered-extraction.md
polars-cheatsheet.md
query-patterns.md
troubleshooting.md
scripts/
__init__.py
analyzer.py

詳細

sf-ai-agentforce-observability:Agentforce セッショントレースの抽出と分析

ユーザーが単なるテストではなく、トレースベースの可観測性を必要としている場合にこのスキルを使用します。Session Tracing Data Model(STDM)レコードの抽出、Parquet データセットの操作、セッションタイムラインの再構成、トピックやアクションのレイテンシー分析、または Data 360 テレメトリを使ったエージェント動作のデバッグに対応します。

このスキルが担当するタスク

次の作業には sf-ai-agentforce-observability を使用します。

  • Data 360/Session Tracing の抽出
  • Agentforce テレメトリの .parquet ファイル
  • セッションタイムラインの再構成
  • トピックルーティング、アクションの失敗、レイテンシーのトレース駆動型デバッグ
  • Polars/PyArrow を使った大規模テレメトリデータセットの分析

次の場合は、ほかのスキルに引き継ぎます。


必要な前提条件

抽出の前に、次の項目を確認します。

  • Data 360 が有効になっている
  • Session Tracing が有効になっている
  • Salesforce Standard Data Model のバージョンが十分である
  • 組織で Einstein/Agentforce の機能が有効になっている
  • Data 360 アクセス用の JWT/ECA 認証が設定されている

認証が設定されていない場合は、次に引き継ぎます。

詳しいセットアップガイド:


このスキルで扱う内容

中核となるストレージ/分析モデル
  • Data 360 API を使った抽出
  • ストレージ効率の高い Parquet
  • 大規模な遅延分析に使う Polars
中核となる STDM エンティティ

最低限、次の項目を扱います。

  • セッション
  • インタラクション/ターン
  • インタラクションステップ
  • モーメント
  • メッセージ

GenAI Trust Layer/監査レコードは、コンテンツ品質や生成のデバッグにも関係する場合があります。

完全なスキーマ:


事前に収集する必須コンテキスト

次の情報を確認するか、推測します。

  • 対象組織のエイリアス
  • 対象期間または日付範囲
  • エージェントのフィルター(任意)
  • 目的が抽出、概要分析、単一セッションのデバッグのいずれか
  • 抽出データの出力先
  • ユーザーがすでに Parquet ファイルをディスク上に持っているかどうか

推奨ワークフロー

1. セットアップと認証を確認する

Data 360 トレーシングが利用可能で、JWT/ECA 認証が機能していることを確認します。

2. 抽出モードを選択する
必要な作業デフォルトの方法
最近のテレメトリスナップショット直近 N 日分を抽出する
対象を絞った調査日付とエージェントでフィルターして抽出する
問題のある会話を1件調査する単一セッションツリーを抽出またはデバッグする
継続的な使用状況分析増分抽出を行う
3. Parquet に抽出する

抽出ロジックを再実装するのではなく、scripts/ 内の提供済みスクリプトを使用します。

4. Polars で分析する

一般的な分析目的:

  • セッション数と継続時間
  • トピックの分布
  • アクションステップの失敗
  • レイテンシーのホットスポット
  • 離脱/エスカレーションのパターン
  • セッション単位のタイムラインの再構成
5. 分析結果を次のアクションにつなげる

一般的な対応:

  • トピックの不一致 → ルーティングまたは説明を改善する
  • アクションの失敗 → Flow/Apex の実装を調査する
  • レイテンシーの問題 → 後続のアクションパスを最適化する
  • テストの不足 → 対象を絞ったエージェントテストを追加する

運用上の重要ルール

  • STDM は読み取り専用テレメトリとして扱います
  • データ取り込みには遅延があるため、完全なリアルタイムデバッグではありません
  • 不要なデータ量やクエリコストを避けるため、日付フィルターを使い、対象を絞って抽出します
  • 継続的な分析には、場当たり的な JSON より Parquet を優先します
  • 大規模なデータセットには、Polars の遅延評価パターンを使用します

よくある落とし穴:

  • トレーシングが有効になっていないだけの可能性があるのに、データがないことは問題がないことを意味すると考える
  • 日付やエージェントでフィルターせずに、広範囲の大規模クエリを実行する
  • 作成/テスト用スキルに引き継がず、このスキル内でエージェントを修正しようとする

出力形式

完了時には、次の順序で報告してください。

  1. 抽出または分析したデータ
  2. 範囲(組織、日付、エージェントのフィルター、セッション ID)
  3. 主な調査結果
  4. 考えられる根本原因
  5. 推奨する次のスキル/次のアクション

推奨形式:

Observability task: <extract / analyze / debug-session>
Scope: <org, dates, agents, session ids>
Artifacts: <directories / parquet files>
Findings: <latency, routing, action, quality, abandonment patterns>
Root cause: <best current explanation>
Next step: <testing, agent fix, flow fix, apex fix>

スキル間の連携

必要なこと委任先理由
認証/JWT のセットアップsf-connected-appsData 360 へのアクセス
エージェントのルーティング/動作の修正sf-ai-agentscriptオーサリングの修正
正式な回帰テスト/カバレッジテストsf-ai-agentforce-testing再現可能なテストサイクル
Flow によるアクションのデバッグsf-flow宣言的な修正
Apex によるアクションのデバッグsf-debug または sf-apexコード/ログの調査

参照マップ

まずはこちら
データモデル/クエリ
分析/デバッグ
認証/トラブルシューティング

スコアガイド

スコア意味
90+テレメトリーに裏付けられた強力な診断
75–89軽微な不足はあるものの有用な分析
60–74可視性が限定的
< 60証拠が不十分です。テレメトリーをさらに収集してください

コメント