Agentforce Observability KPI およびツールについて
観察力は単一のツールではありませんエージェントの活動を取得するインフラストラクチャ、エージェントのリリース前をテストする開発ツール、リリース後にトレンドとセッションレベルの詳細を表示する監視ツールが含まれる階層化されたツールチェーンです。
必要なエディション
| 使用可能なインターフェース: Lightning Experience |
| 使用可能なエディション: Enterprise Edition、Performance Edition、Unlimited Edition、および Developer Edition。必要なアドオンライセンスはエージェント種別によって異なります。 |
どのレイヤーが何を実行しているのかを把握することで、エージェントが構築から本番まで監視できるようにします。この記事では、完全なツールチェーンを対応付け、各セクションの詳細にリンクします。
インフラストラクチャ
オブザーバビリティツールでデータを表示または処理するには、基盤となるエージェントテレメトリインフラストラクチャが必要です。これらのツールを有効にして、ツールチェーンの残りの部分に操作するデータが含まれるようにします。
| ツール | 表示される場所 | 説明 |
|---|---|---|
| Agentforce セッション追跡 | [設定] → [Agentforce] → [Agentforce セッション追跡] | すべてのエージェントセッションのすべてのターン、推論ステップ、アクション、メッセージを取得します。これは、他のオブザーバビリティツールにデータが含まれる前に有効にする必要があります。 |
| エージェントプラットフォーム追跡 | [設定] → [クイック検索] → [Einstein 生成 AI] → [Einstein 監査、分析、および監視の設定] → [エージェントプラットフォーム追跡] 切り替え | Atlasの推論エンジン、Apex、フロー、プロンプトビルダー、呼び出し可能なアクション、AIゲートウェイ、LLMゲートウェイ、DCクエリ統合にわたるサービス・レベルのテレメトリをキャプチャします。 |
| 監査とフィードバック | ［設定］ → ［クイック検索］ → ［Einstein 監査］ → ［Einstein 監査、分析、および監視の設定］ | LLM入出力、品質データの取得、Trust評価、ガードレール出力、ユーザー フィードバック信号をキャプチャします。Agent Analytics の品質スコアとTrust性を強化します。 |
| Knowledge/RAG品質データおよび評価指標 | [設定] → [クイック検索] → [Einstein 監査] → [Einstein 監査、分析、監視の設定] → [Knowledge/RAG 品質データと総計値] | Audit and Feedback (監査とフィードバック) パイプラインで処理された [Answer Faithfulness (回答の信頼性)]、[Answer Relevance (回答の関連性)]、[Context Relevance (コンテキストの関連性)] などの取得品質をスコアリングします。品質スコアの取得総計値を強化します。 |
| Trust Layer | ［設定］ → ［クイック検索］ → Einstein → Einstein Trust Layer | Audit and Feedback パイプラインで処理された LLM Gateway 出力から取得された命令の遵守と有害性をスコアリングします。Agent Analytics の Trust 評価指標を強化します。 |
Agentforce Observability Infrastructure の各ツールにドリル ダウンします。
ビルド & テスト
ビルド & テストツールを使用すると、本番トラフィックが存在する前に開発中のエージェントの動作を確認できます。
| ツール | 表示される場所 | 説明 |
|---|---|---|
| Agentforce Builder | Agentforce Studio → Builder | 反復エージェント開発およびテスト用のプライマリワークスペース。データを記述せずにシミュレーションモードで会話を実行するか、実際のデータに対してエンドツーエンドのライブテストモードで会話を実行します。 |
| インタラクション概要 | Agentforce Studio → Builder → [プレビュー] パネル | サブエージェントの選択、アクションの実行、テスト会話の理由が表示されます。任意の項目にドリルインして、ステップバイステップのタイミングとサブエージェントの移行を行います。 |
| テストセンター | Agentforce Studio → Agentforce テストセンター | リリース前のKnowledge取得、サブエージェントとアクションの選択、ToDoの解決の一括評価。デフォルト、品質、カスタムスコアラーを使用して、テストスイートの発言を生成してスコアリングします。カスタムスコアラーはリリース後に Agent Analytics に表示されます。 |
[Build and Test Observability Tools (ビルドおよびテストオブザーバビリティツール)] でこれらの各ツールにドリルダウンします。
観察
エージェントがリリースされると、すべてのセッションのトレンドが監視フェーズツールで追跡されるため、特定の会話を調査してステップレベルの詳細にドリルダウンできます。
| ツール | 表示される場所 | 説明 |
|---|---|---|
| Agent Analytics | Agentforce Studio → 「監視と最適化」 → 「分析」 | すべてのセッションのパフォーマンスデータを集計し、Tableau Next ダッシュボードで結果領域別にトレンドを表示します。タブはエージェント種別によって異なり、有効性、使用状況、品質、健全性、Trust、Voice がカバーされます。 |
| エージェントの最適化 | Agentforce Studio → 「監視と最適化」 → 「最適化」 | インテント、結果、品質スコアで絞り込まれた個々のセッションビュー。処理済みセッションにはインテントのクラスター化と品質スコアが含まれます。未処理のセッションはすぐに使用できます。 |
| インタラクション概要 | Agentforce Studio → 「監視と最適化」 → 「最適化」セッションの詳細 | 選択されたインテントの構造化された内訳。トリガーされたサブエージェント、トリガーされたアクション、品質スコア、LLM で生成された品質スコアの理由が表示されます。 |
| トレース | Agentforce Studio → 「監視と最適化」 → 「最適化」セッションの詳細 | ステップごとのタイミングとエラーテキストを含む各処理ステップの時間順レコード。処理中のセッションを含め、すぐに使用できます。 |
| エージェントの健全性 | Agentforce Studio → アラート | エージェントの活動が許容レベルを超えた場合に通知されるようにアラートを作成し、しきい値を設定します。 |
| エージェントガードレールの監視 | Agentforce Studio → 監視と最適化 | 広範な Analytics ビューとは別に、指示遵守と ToDo 解決のトレンド専用のビュー。 |
| Voice 対応エージェントの監視 | オムニスーパーバイザーの Agentforce タブ (Service Cloud コンソール) | ライブトランスクリプトを使用した有効な音声通話のほぼリアルタイムのスーパーバイザービュー。 |
| Data 360 クエリエディタ | Data 360 → クエリ | 商品 UI が表示されないカスタム集計、クロスオブジェクト結合、分析のために、基盤となる 4 つのすべてのデータレイヤーに SQL で直接アクセスします。 |
[Observe Phase Observability Tools (観察フェーズオブザーバビリティツール)] でこれらの各ツールにドリルダウンします。
ツールチェーンは順序どおりに機能します。インフラストラクチャから開始してデータが流れていることを確認してから、[Build & Test (ビルド & テスト)] を使用してリリース前に問題を検出し、[Observe (監視)] を使用してパフォーマンスを追跡し、リリース後に調査します。
