Agent Optimizer を使用したエージェントのパフォーマンスの向上 (ベータ)
Agentforce Studio で、エージェントのパフォーマンスを理解し、影響の大きい問題を特定し、その原因を調査して、セッションを改善するための提案を取得します。
必要なエディション
| 入手可能: Enterprise、Performance、および Unlimited Editions（Einstein for Sales、Einstein for Platform、Einstein for Service、Einstein 1 Service、または Einstein GPT Service アドオン付き）アドオンを購入するには、Salesforce アカウント担当者にお問い合わせください。 |
メモ Agent Optimizer は、パイロットまたはベータサービスであり、Agreements - Salesforce.com のベータサービス条件、またはお客様が実行した場合は書面による統合パイロット契約、および製品条件ディレクトリの適用条件が適用されます。このパイロットサービスまたはベータサービスは、お客様ご自身の裁量でご利用ください。
考慮事項
- 組織がセッショントレーシングデータを収集していること、および調査するエージェントとセッションにアクセスできることを確認します。使用可能な結果は、権限、選択したエージェントと期間、使用中のチャネル、処理されたセッションデータによって異なります。
- Agent Optimizerを使用できない場合は、[Setup | Einstein Audit, Analytics, and Monitoring Setup (Einstein 監査、分析、監視の設定)] で、Agentforce セッション追跡、エージェント最適化、および Agentforce 最適化エージェントが有効になっていることを確認します。
Agent Optimizer の有効化
Agent Optimizer では、セッションデータを分析して注意が必要なパターンを特定することで、エージェントのパフォーマンスを把握できます。パフォーマンスのトレンドを探索し、代表的なセッションを調査し、考えられる原因を特定し、改善のための提案を得るために自然言語で質問します。
- Agentforce Studio で、[Analytics] を選択します。
-
[Ask Agentforce] を選択して、[Agent Optimizer] パネルを開きます。
-
特定のエージェント種別の活動またはトレンドを尋ねて、パフォーマンスベースラインを確立します。
最も忙しい日、セッションの合計、グラフを確認します。推奨フォローアップを使用して、期間の拡大やトレンドの調査を行います。
Show me the distribution of the number of sessions day over day for [agent name]. -
繰り返し発生する失敗パターンを特定して優先順位を付けます。
回答の数、影響、考えられる原因、提案を確認します。ユーザーに最も影響する問題に集中します。
Sample sessions from [agent name] from last week and identify failure patterns. -
選択したパターンの代表的なセッションを調査します。
ユーザーの要求、選択したサブエージェント、アクション、エラー、エージェント応答、およびその後のターンを確認します。次に、セッショントレースを開いて一連のイベントを確認します。
Show me a session affected by the permission error and explain what happened.
-
操作エラーの場合、問題が分離されたのか、それとも解決されないままなのかを判断します。
エラーが発生したタイミングと影響を受けたエージェントを尋ねます。短いトラフィックバーストを継続中の回帰として処理しないように、時間枠とセッション数を比較します。
Show me more details about the rate limiting errors.
-
ユーザーが頻繁に尋ねる質問のうち、エージェントが既存のKnowledgeコンテンツでは回答できないものを検索します。
コンテンツを作成する前に、権限の欠落、取得設定、またはコンテンツの評価が低いことが原因ではないことを確認します。
What are the best knowledge candidates for FAQ creation?
-
ユーザーが何を達成しようとしているかで失敗をグループ化します。
Agent Optimizer に失敗の分類とトピック外の要求のクラスター化を依頼します。クラスターを使用して、要求がエージェントの範囲外であるか、エージェントがサポートする必要がある定期的な顧客ジョブを表しているかを決定します。
Categorize my session failures into action errors, knowledge gaps, and off-topic queries. Then show me the clusters of off-topic queries.Sample 50 sessions and give me more details about these gaps so that I can learn how to fix them.
-
定期的なパターンの背後にあるセッションを取得します。
ユーザー要求、エージェント応答、割り当てられたエージェント、日付、推奨修正を確認します。セッション ID を使用して、[Sessions & Intents (セッションとインテント)] とセッション追跡で調査を続行します。
Show me the sessions for the missing roadside-assistance dispatch action. -
スコアラーを使用して、セッション間で一貫して根本原因の表示ラベルを適用します。
プロンプトビルダーで、各セッションを確認し、定義された表示ラベルを返すスコアラーを作成します。たとえば、欠落しているコンテンツ、欠落または失敗したアクション、不明瞭な指示、推論エラー、明確な失敗のないセッションの表示ラベルを定義します。[Sessions & Intents (セッションとインテント)] で評価を適用し、Agent Optimizer に表示ラベル付きセッションの比較を依頼します。プロンプトパターンについては、「カスタムスコアラープロンプト例」を参照してください。
エージェントを変更する前に、複数の代表的なセッションの証拠を使用します。対象を絞った変更をテストし、通常のプロセスでリリースし、後で同じパフォーマンスシグナルを比較して、変更が回帰を引き起こさずに役立ったことを確認します。
Agent Optimizer からの結果の向上
- 証拠の提示を求める。Agent Optimizer がどのように結論に達したか、またはパターンに含まれるセッションを尋ねます。応答に対してアクションを実行する前に、識別されたセッションを確認します。
- 期間を含めます。たとえば、
in the last 7 daysやbetween May 30 and June 29を指定します。期間がない場合、Agent Optimizer では最近のデフォルトの期間が使用されます。これは、分析する期間とは異なる可能性があります。 - 範囲を絞り込みます。可能な場合はエージェントまたはサブエージェントを指定します。おおよその名前がサポートされ、対応するエージェントまたはサブエージェントに解決されます。
- 数と理由を尋ねます。最初に、「
How many sessions escalated for the refund subagent last week?」などの正確な件数を求め、次に、件数の背後にあるセッションの分析をWhy did those sessions escalate?に依頼します。 - 必要に応じてサンプルを増やします。結論を出す前に、エージェントオプティマイザーに他のセッションを確認するか期間を広げるように依頼します。1 つの分析で最大 1,000 セッションをサンプリングできます。
- 1 つの会話のセッション ID を指定します。たとえば、
What happened in session [session ID]?やWhy did session [session ID] escalate?に焦点を絞った説明を求めます。
制限事項
- セッショングループの診断は、グループのすべてのセッションではなく、サンプルに基づきます。デフォルトのサンプルは約 100 セッションで、分析あたりの最大セッション数は 1,000 セッションです。正確な合計が必要な場合に件数を使用し、サンプリングされた分析を使用して考えられる原因を調査します。
- 最近のセッションは、詳細な分析ができない場合があります。会話トランスクリプトが使用可能になるまで約 15 ～ 30 分かかる可能性があるため、30 分未満のセッションは詳細な分析から除外されます。
- 要求された評価指標または分析を使用できない場合、必要なソースデータまたは評価指標を組織で無効にできます。Salesforce システム管理者に連絡して、必要な Agentforce 評価指標とセッショントレーシングデータが有効になっていることを確認してください。
この記事で問題は解決されましたか?
ご意見をお待ちしております。
