観察フェーズの可観測性ツール

エージェント分析

Agent Analytics では、経時的なエージェントのパフォーマンスを監視します。すべてのセッションのデータを集計し、Tableau Next 搭載のダッシュボードセットでトレンドを明らかにします。「監視」フェーズの質問は、このフェーズから開始します。セッションレベルのツールに移動する前に、まずここを確認してトレンドを把握してください。

パフォーマンスインサイト

パフォーマンスインサイトは、トレンドの確認とセッションの詳細確認の間のステップです。エージェント最適化を開く前に、サブエージェント、インテント、またはアクション別に総計値を割り振ることで、セッションをランダムに確認するのではなく、どの項目を参照すべきかを正確に把握できます。

設定の要件と権限については、「Agent Analytics」を参照してください。

エージェントの最適化

Analytics でパターンが表示され、その原因を理解する必要がある場合、次に行うべきはエージェントの最適化です。エージェントとユーザーの個々の会話を把握できるため、特定のセッションを絞り込んだり、参照したり、開いたりして、実際に何が起きたかを確認できます。2 つのビュー:

• Processed Sessions (処理済みセッション) — 抽出されたインテント、クラスター化されたインテント、スコアリングされた品質。セッション終了後 4 ～ 5 時間後に使用可能になります。テーブル列: セッション ID、タイムスタンプ、期間、結果、カスタムスコアラー表示ラベル、インテント概要、応答概要、トリガーされたサブエージェント、トリガーされたアクション、インテントタグ、品質スコア。
• 未処理セッション — 有効、最近、または処理中。[追跡] タブはすぐに使用可能になり、インテント処理がデバッグを開始するのを待つ必要はありません。

インテントのクラスター化は、パターン検出とセッションごとのレビューを分離するものです。クラスターパイプラインは毎週実行され、クラスタータグに 10 件以上の一致するインテントが蓄積されると、類似するインテントが意味の類似性でグループ化されます。クラスターが形成されたら、クラスターで絞り込んで、ユーザーが同じことをさまざまな方法で尋ねたすべてのセッションを表示できます。これは、セッションを 1 つずつ確認する代わりに、体系的な障害パターンを特定する最短パスです。

明らかになった KPI: エージェントへの影響とエージェントの有効性の結果領域 (セッションレベルの結果、品質スコア、インテントパターン)。

できないこと: セッション全体の総計値を集計する (Analytics を使用)。リアルタイムでのメールによるセッションはすぐに反映されません。

セッションレベルの結果、品質スコア、インテントパターンが表示されます。現在のセッションの列とフィルタについては、「エージェントの最適化」を参照してください。

［Interaction Summary］ タブ

エージェント最適化でセッションを開き、インテントを選択すると、[インタラクションの概要] タブにそのインテントで何が起きたかが構造化されて表示されます。

• エージェント名、平均エージェント遅延 (ms)、合計インタラクション数、インテント所要時間
• トピック (サブエージェント) のトリガー、アクションのトリガー
• インテントタグ、品質スコア (高/中/低)
• 品質スコアの理由 — LLM で生成された、品質スコアが割り当てられた理由の説明

品質スコアの推論は、スコアを方向に変換するものです。品質スコアが低い場合、多くの場合、推論項目では、誤ったサブエージェント、不完全な応答、指示漏れ、取得の失敗など、評価者が自然言語で何を見つけたかが直接示されます。[追跡] タブを開く前に「品質が低い」から「調査する内容は次のとおりです」に移動するのが最も早い方法です。

インテント処理が完了するまで (セッション後 4 ～ 5 時間)、使用できません。すぐにデバッグするには、[トレース] タブから開始します。

[トレース] タブ

[エージェント最適化] のセッションからもアクセスできる [追跡] タブには、サブエージェントの識別、アクションの選択、ルーティング、変数の更新、取得、応答の生成など、すべての処理ステップの時系列レコードが表示されます。各ステップには状況インジケーターとタイミングが表示され、ネストされたステップはサブエージェント委任用に展開できます。

[トレース] タブは、主要な根本原因分析ツールです。他のすべてのツールでは、評価指標の移動、品質スコアの低下、セッションの失敗などが示されます。[トレース] タブには、失敗したステップ、エラーメッセージ、費やされた時間、返された取得内容など、場所と理由が表示されます。

ステップ種別: インテント処理、サブエージェントルーティング、検索条件、取得、変数の更新、アクションの実行。各ステップには開始タイムスタンプと終了タイムスタンプ、および ErrorMessageText があります。マルチエージェント (SOMA) リリースの場合、サブエージェントが呼び出されたステップを展開してネストされたステップにドリルインします。

エラーの操作: SOQL を使用して AiAgentInteractionStepDmo__dlm で ErrorMessageText を照会し、センチネル値 (NOT_SET、None、空の文字列) を除外して実際のエラーを分離します。

表示される KPI: エージェントの健康結果領域のステップレベルの遅延、エラーの場所、実行シーケンス。

未処理のセッションでもすぐに使用できます。今すぐデバッグする必要がある場合は、インテントの処理を待つ必要はありません。

エージェント状態監視

エージェント状態監視では、エラー率の急増、高いレイテンシー、応答率の低下などのエージェントのサイレントエラーを検出し、顧客への影響が生じる前にほぼリアルタイムで通知します。Agent Analytics で経時的なトレンドが表示される場合、状態監視は迅速な対応ができるように設計されています。つまり、リリースにとって重要な評価指標のしきい値を設定し、違反したときに通知を受け取り、セッショントレースにドリルインして原因を見つけます。

これらの総計値は、Agent Analytics の [状態] サブタブでも視覚化されます。

アラート

各アラートは、1 人のエージェントに対して 1 つの指標を監視します。アラートは過去 15 分間のデータに対して 1 分ごとに評価され、しきい値を超えるとメール通知が送信されます。通知が起動されると、同じアラートが 30 分間一時停止してから再度通知されます。

通知は、アラートをトリガーしたセッションにアラートを直接リンクします。各通知には影響を受けるセッションが表示されるため、検索せずにトレースに直接移動できます。設定の要件と権限については、「エージェント状態の監視」を参照してください。

エージェントガードレールの監視

Monitor Agent Guardrailsでは、指示の遵守とタスクの解決に焦点を絞ったビューが提供されます。Trust Layerの出力は、広範なAnalyticsビューとは別に、専用の監視指標として表示されます。ガードレールコンプライアンスが追跡要件となるリリース (規制対象の業界、エンタープライズポリシーの適用、ブランドの安全性) では、パフォーマンスや品質のシグナルとは別に、指示の遵守と ToDo の解決トレンドを 1 か所で確認できます。

浮上した KPI: エージェントの健康結果領域 (指示の遵守と ToDo の解決)。

「Monitor Agent Guardrails for current metrics」を参照してください。

音声対応エージェントの監視

音声リリースの場合、スーパーバイザーはオムニスーパーバイザー(Service Cloud コンソール)の Agentforce タブを使用して、アクティブ コールをリアルタイムで監視できます。これは、履歴集計データを表示する Analytics の [音声] タブとは異なります。オムニスーパーバイザーはライブ活動を見るためのもので、過去のセッションを確認するものではありません。

オムニスーパーバイザーの [Agentforce] タブには、有効な通話とライブ通話トランスクリプトに関するエージェントのリストが表示されます。Agentforce Studio ではなく Service Cloud コンソールからアクセスします。

表示される KPI: エージェントの健康結果領域 (リアルタイムの通話状況とトランスクリプト、履歴ではない)。設定とスーパーバイザー設定については、「Monitor Your Voice-Enabled Agent (音声対応エージェントの監視)」を参照してください。

Data 360 クエリエディターとレポート

商品 UI で回答できない質問については、Data 360 クエリエディターで基礎となるデータに SQL から直接アクセスできます。STDM、監査 & フィードバック、RAG 品質、エージェントオプティマイザーの 4 つのレイヤーすべてで、データへのセマンティックなエントリポイントである DMO を使用してクエリを実行します。

Data 360 で、該当する DMO から関連情報を取り込むレポートを作成することもできます。必要な権限などについての詳細は、「Data 360 レポートおよびダッシュボード」を参照してください

セッショントレーシングデータモデル (STDM) DMO:

• AiAgentSessionDmo — セッションレベルの結果: チャネル種別、セッション終了種別、関連する音声/メッセージングセッション ID
• AiAgentSessionParticipantDmo — 参加したユーザー: 取引先責任者、リード、ユーザー、エージェント API 参照名
• AiAgentInteractionDmo — 1 ターン。TopicApiName (どのサブエージェントが処理したか) が含まれます。
• AiAgentInteractionStepDmo — 開始タイムスタンプと終了タイムスタンプおよびErrorMessageTextを含む 1 つの個別のステップ
• AiAgentInteractionMessageDmo — 実際の入出力テキスト

監査およびフィードバック DMO:

• GenAiGatewayRequest — LLM に送信されるプロンプトとコンテキスト
• GenAiGatewayResponse — LLM の応答
• GenAiResponseGeneration — 生成レベルのメタデータ
• GenAiFeedback — ユーザーフィードバックシグナル
• GenAiContentQuality — 品質評価スコア
• GenAiContentQualityCategory — コンテンツカテゴリ分類

RAG 品質:

• AIRetrieverRequest (DLO) — Knowledge ソースに送信される取得クエリ
• AIRetrieverResponse (DLO) — 返された取得済みコンテキスト
• AIRetrieverQualityMetric (DMO) — アンサーの忠実度、アンサーの関連性、コンテキストの関連性スコア

Agent Optimizer オブジェクトについては、「Agent Optimization データモデル」を参照してください。

明らかになった KPI: すべての結果領域 — 4 つのインフラストラクチャレイヤーすべての未加工データから取得可能な KPI。

次のステップは、サーフェスへの接続です。エージェントの成功がどのようなものかを定義し、ツールチェーンがどのようなものかを理解しています。この作業では、結果領域を適切なシグナルに対応付け、適切なシグナルを適切なツールに対応付ける計画を作成します。この計画は、一連の特徴から観測可能性を繰り返し可能な方法に変えるものです。