エージェントの成功の定義
Agentforce は多くのデータを表示します。エージェントが達成すべき内容が明確でない場合、そのデータは方向ではなくノイズを生み出します。測定を開始する前に成功を定義するには、どのシグナルが重要か、どのシグナルを無視するか、エージェントが実際に改善しているタイミングを把握します。
必要なエディション
| 使用可能なインターフェース: Lightning Experience |
| 使用可能なエディション: Enterprise Edition、Performance Edition、Unlimited Edition、および Developer Edition。必要なアドオンライセンスはエージェント種別によって異なります。 |
これらの KPI のほとんどは、Agentforce の組み込み Analytics ダッシュボードに表示されます。以降の記事では、各シグナルを取得するツールと、その追跡を開始するために設定が必要なツールについて説明します。ツールチェーンの全体像については、「Understand Agentforce Observability KPIs and Tools」を参照してください。
Agentforce導入環境全体の共通点をカバーする3つの結果領域を特定しました。これらの結果は厳格でも完全でもなく、エージェントは複数の結果に触れることができます。ただし、エージェントの位置づけを把握することで、適切な KPI を選択し、適切なツールにアクセスし、自信を持って結果を読み取ることができます。
エージェントへの影響 (ROI)
エージェントはビジネスを前進させましたか?
エージェントへの影響は、エージェントが受信要求を処理しているか、コストを削減しているか、ビジネスの結果を促進しているかに関係なく、下流のビジネス結果を対象とします。エージェントの主な業務がケースの回避、パイプラインの前進、取引開始の増加、キャンペーンエンゲージメントの促進などである場合、この領域に該当する可能性があります。商品ビューでは、これらの結果を最も直接的に反映する評価指標が [有効性] と [利用状況] に表示されます。
たとえば、デフレクションの 70% を目標としたカスタマーサポートチームは、1 か月に 10,000 件の取引先責任者を処理します。デフレクションが 62% に低下すると、800 件の追加ケースが人間のエージェントに到達します。これは、サポート統括責任者が対応可能な具体的なコストです。
テストでは、適切なルーティング、アクションの実行、応答品質など、これらの KPI の背後にあるエージェントの動作を検証します。KPI 自体は本番で表示され、Analytics は実際のユーザーセッションをデフレクション率、離脱率、成功ステートメントが依存するエンゲージメントパターンに集計します。
| KPI | その内容 |
|---|---|
| 採用/イネーブルメント | ユーザーがエージェントと積極的にエンゲージする頻度。 |
| デフレクション | エージェントが人間にエスカレーションせずに処理した取引先責任者の共有。 |
| 解決方法 | ユーザーの原因となっている問題が完全に解決されたセッションの共有。これは、エージェントが割り当てられた ToDo を完了したかどうかではなく、エージェントがユーザーの問題を解決したかどうかを測定します。 |
| 放棄率 | ユーザーが解決せずに退席したセッションの共有。 |
| Engagement Rate (エンゲージメント率) | エージェントが 1 つ以上のアクションをトリガーしたセッションの共有。 |
| Conversion (取引開始) | ビジネス上の成果 (予約、カートの完了、商談の進行状況、クローズケースなど)。 |
| Pipeline Progression (パイプラインの進行状況) | ファネルを介して作成または進行した商談。 |
| キャンペーンエンゲージメント | エージェントによって促進された応答、クリックスルー、またはインタラクション。 |
| 返品 / 繰り返し率 | 前のセッション後に戻ってきたユーザーの共有。 |
| CSAT / NPS | セッションまたはリレーションレベルでの顧客満足度。 |
エージェントの有効性とインタラクション
これは良い会話でしたか?
効果とインタラクションは、質問された内容をエージェントが理解したかどうか、正確に応答したかどうか、インタラクションをスムーズに感じたかどうかなど、ユーザーの観点からセッション品質に関するものです。個々のインタラクションの品質がコアの成功基準である場合、エージェントはこの領域に該当する可能性があります。
-
指示の遵守と応答の正確性が重要な営業アシスタント
-
再プロンプト率が摩擦のサインである従業員向けエージェント
-
ユーザーフィードバック (CSAT、サムアップまたはサムダウン、NPS) が結果として追跡されるエージェント。
商品ビューでは、これらの総計値は [有効性スコア] と [品質スコア] に表示されます。
たとえば、92% の ToDo 完了率と高い再プロンプト率を持つエージェントが技術的に作業を完了している間に、ユーザーは同じ作業を複数の方法で依頼する必要があります。そのため、ユーザーエクスペリエンスでは、ToDo の完了率だけでは表示されない摩擦点にフラグが付けられます。
品質スコアと手順遵守はテスト環境で測定できます。テストセンターとAgentforce Builderで、リリース前に追跡できます。CSAT やユーザーエクスペリエンスなどのシグナルは、ライブユーザーセッションからのみ発生します。
| KPI | その内容 |
|---|---|
| 効果 | エージェントが割り当てられた ToDo を完了したセッションの共有。ユーザーの根本的な問題が解決されたかどうかではなく、エージェントの行動を測定します。 |
| 品質 | エージェントの出力の正確性、安全性、関連性。 |
| 命令の遵守 | 会話中にエージェントが設定された指示にどの程度一貫して従ったか。 |
| Engagement Rate (エンゲージメント率) | エージェントが 1 つ以上のアクションをトリガーしたセッションの共有。 |
| CSAT / NPS | セッションまたはリレーションレベルでの顧客満足度。 |
エージェントの健全性とセキュリティ
システムは正常で、制限内で動作しているか?
エージェントの健全性とセキュリティは、エージェントの運用状態と技術状態 (迅速、対応可能、設定されたガードレール内に収まるかどうか) を対象とします。アップタイム、遅延、またはコンプライアンスが明示的な要件である場合、エージェントはこの領域に該当する可能性があります。
-
ガードレール違反を追跡する必要がある規制対象の業界への導入
-
大規模なユーザーエクスペリエンスにレイテンシーが影響する大規模な導入
-
対応可能状況が契約上の懸念事項であるエージェント
Product View では、これらの総計値は Health and Trust の下に表示されます。
たとえば、毎日の Analytics では、午前 2 時のエスカレーション率の急増は警戒すべき状況です。ただし、5 分間の対応可能状況の確認では、20 分間の停止であり、継続的な動作の変更ではないことが明らかになりました。この結果領域が表示されないと、同じシグナルが誤って読み取られ、誤った修正が優先されます。
遅延、命令遵守、ガードレール違反はテスト環境で検出できます。可用性とエスカレーション率は、本番規模でのみ重要になります。
| KPI | その内容 |
|---|---|
| Performance | エージェントの応答速度 (ターン遅延、取得遅延、スループットで測定)。 |
| 可用性 | エージェントがエラーやタイムアウトなしで起動して応答しているかどうか。 |
| エスカレーション率 | 人間のエージェントまたは別のシステムに転送されたセッションの共有。 |
| 命令の遵守 | エージェントの回答が、設定された指示要件にどの程度一貫して適合しているか。 |
| 制約とガードレール | エージェントが定義されたコンプライアンス、プライバシー、およびコンテンツの境界内で業務を行ったかどうか。 |
ほとんどのエージェントは複数のエリアに触れます。エージェントが作成された理由に最も直接関連する領域から開始し、その領域から 2 ～ 4 個の KPI を選択します。エージェントが複数の領域にまたがっていることが明らかな場合は、リリースする前にプライマリレンズを決定します。
success ステートメントを完了できる必要があります。
たとえば、サービスエージェントの場合、「このエージェントは、請求取引先責任者を処理するカスタマー サービス チームのデフレクション率が 70% 以上、CSAT が 4.0 以上で測定された、請求に関する質問がハンドオフなしで解決されると成功します。」
または、営業エージェントの場合: 「このエージェントは、営業担当がエンタープライズ営業チームの指示遵守率が 90% 以上、再入力率が 15% 未満で測定された、最初の質問で正確な商品のおすすめを取得したときに成功します。」
[監視] フェーズでは、本番データを比較するベンチマークとして成功ステートメントを使用します。KPI がこの成功の定義から外れると、根本原因分析からアクションを実行するシグナルになります。一度に複数の KPI がドリフトする場合、このステートメントで優先すべき KPI がわかります。
これら 3 つの部分をすべて入力し、どの結果領域に最も重みがあるかを示すことができれば、前進するために必要なものは揃っています。
