スコアラーとカスタムスコアラー (ベータ)

最適化と分析でのスコアラーの表示場所

• 次世代テスト — 新規または既存のテストスイートの一部としてカスタムスコアラーを作成し、調整して公開します。
• スコアラー ハブ(Agentforce Studio) — スコアラーの表示、有効化、および管理を一元的に行います。
• Sessions and Intents テーブル — セッションにはスコアラーの結果が表示されます。カスタムスコアラーディメンションで絞り込んで分析します。
• セッションページ — セッションには、関連付けられたスコアラーの表示ラベルとスコアが表示されます。
• Analytics ダッシュボード: カスタムスコアラー基準がレポートの総計値として表示されます。

考慮事項と制限

• エージェント最適化および分析が有効になっている Salesforce Foundations Edition または Agentforce 1 Edition が付属する Enterprise Edition、Performance Edition、および Unlimited Edition の Lightning Experience で使用できます。
• カスタム スコアラーはベータであり、Agentforce以外の追加ライセンスは必要ありません。
• ベータ期間中は、セッションレベルのスコアラーのみがサポートされます。
• カスタム スコアラーは、Agentforce Employee Agent(AEA)エージェント タイプではサポートされません。
• SDR エージェント種別はスコアラーハブに表示されますが、最適化 UI エージェントドロップダウンには表示されません。
• 標準スコアラー (A&D、品質スコア) は、STDM がプロビジョニングされたときに作成されます。欠落している場合は、プロビジョニングの問題を確認してください。
• 標準スコアラーを編集する前にコピーする必要があります。ベータ期間中は直接編集はサポートされません。
• 式ベースのスコアラーには Boolean 出力種別が必要です。
• LLM は非常に狭い数値範囲ではパフォーマンスが低いため、0 ～ 1 スケールの数値スコアラーはお勧めしません。
• テストセンターセッションはカスタムスコアラーでスコアリングされません。テストセンターセッションには終了タイムスタンプが付与されないため、カスタムスコアラー評価をトリガーするデータアクションが起動されることはありません。

概要

スコアラーはエージェントセッションを評価し、スコア、ディメンション (テキスト値)、基準 (数値) を生成します。これらは、Agentforce Optimization and Observabilityの一部です。これらは設定可能なセッションの割合に対して自動的に実行され、最適化と Analytics で結果が表示されるため、システム管理者と開発者はエージェントのパフォーマンスを継続的に改善できます。

スコアラーには次の 2 種類があります。

• 標準スコアラーは Salesforce によって標準で提供されます。
• カスタムスコアラーは、ビジネス固有の条件を評価するために組織で定義されます。

標準スコアラー

標準スコアラーは、STDM プロビジョニングで自動的に作成される事前作成済みの評価です。エージェントセッションで実行され、追加の顧客設定は必要ありません。

現在の標準スコアラー

• Abandonment Score — エージェントが問題を解決する前に顧客がセッションを途中で終了したかどうかを示します。
• デフレクションスコア — エージェントがインタラクションを人のエスカレーションが必要ないように回避したかどうかを示します。
• 品質スコア — 定義済みのSalesforce条件に基づいてセッション全体の品質を測定します。

標準スコアラーは、ユーザーインターフェースで予約された場所を使用し、カスタムスコアラーリストとは異なります。

重要

標準のスコアラーを直接編集することはできません。コピーして、ロジックを変更した新しいカスタムバージョンを作成します。

カスタムスコアラー

カスタムスコアラーを使用すると、評価ロジックを定義してセッションに適用できます。LLM-as-a-Judge アプローチ (プロンプトベースの評価) または式ベースのロジックを使用して、条件に対するセッションの表示ラベル付け、スコアリング、分類を行います。

メモ

カスタムスコアラーは Agentforce Studio の Next Gen Testing(NGT; 次世代テスト)で作成します。「Agentforce Studio でのテストの設定および実行 (ベータ)」を参照してください。詳細は、「Next Gen Testing on Slack」を参照してください。

カスタムスコアラーはセッションに対して実行され、Observability にカスタムスコアとディメンションが表示されます。

カスタムスコアラーのしくみ

カスタムスコアラーは、セッションの終了時に一括処理ジョブとして自動的に実行されるプロンプトテンプレートによってサポートされています。スコアラーがセッションで実行されると、セッションはそのスコアラーに関連付けられ、表示ラベルとスコアが最適化と Analytics に表示されます。

• スコアラーは、設定可能なセッションの割合 (サンプルレート) で実行されるプロンプトテンプレートです。
• スコアは、ライブ会話中ではなく、セッション終了時に適用されます。スコアリングデータアクションを起動するには、セッションで終了タイムスタンプを受信する必要があります。
• 結果は [Observability (可観測性)] にカスタム基準として表示されます。
• executeAgentforceScoresJob 呼び出し可能アクションを使用してスコアラーを手動でトリガーすることもできます。
• スコアリングはセッションの終了後に実行されるため、ライブ会話中のエージェントの遅延やパフォーマンスにスコアラーが影響することはありません。

スコアラー設定

主要なフィールド

入力規則

• scorerApiNameがすでに存在していない。
• promptTemplateRefが存在し、アクティブである必要があります。
• テキストデータ型の場合: スコアラー値が存在する必要があり、1 つの値にのみisFallback: trueが必要です。1 つの値にのみisSystemFallback: trueが必要です (isFallback も true の場合のみ)。
• 数値データ型の場合: 代替値はありません。値は有効な double として解析する必要があります。valuesSpecification: を使用する場合は、 step 0 より大きい値、 min より小さい値 max、省略可能ですが、 threshold と の間 min である必要があります max。
• スコアラー値の最大数: 101。

出力タイプ

• テキスト (表示ラベル) — スコアラーは各セッションに定義済みの文字列表示ラベルのセット ([解決済み]、[中止]、[エスカレーション済み] など) のいずれかを割り当てます。カテゴリ分類に使用します。
• 数値 — スコアラーは、定義された範囲の数値を返します (例: 0 ～ 5)。品質評価と連続スコアに適しています。LLM は通常、狭い 0 ～ 1 の範囲よりも個別のスケール (0 ～ 5 など) でパフォーマンスが優れています。
• Boolean (ストレッチまたは未来) — true または false を返します。式ベースのスコアラーでサポートされます。

本番でのスコアラーの実行

[スコアラー] タブからの有効化

カスタム スコアラーを作成してテストしたら、Agentforce Optimization のスコアラー ハブから有効化します。有効化すると、スコアラーは設定されたサンプルレートでライブセッションで実行できます。

Salesforce フローから実行

履歴セッションでカスタムスコアラーを非同期に実行する新しい呼び出し可能なアクション TriggerAgentBulkScoring が用意されています。このアクションは、複数のセッションとスコアラーを受け入れ、以下からアクセスできます。

• Salesforce フロー
• REST API
• Apex

アクション名: TriggerAgentBulkScoring

重要事項

• すべてのセッション ID とscorerApiNamesは同じエージェントに属している必要があります。
• 実行前にスコアラーバージョンが [使用可能] であることを確認します。

REST API

POST 要求を標準アクション REST エンドポイントに送信します。

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

ペイロードの例:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

フローで executeAgentforceScoresJob 呼び出し可能アクションを使用します。このアクションは、セッション ID とスコアラーのリストを受け入れ、ジョブを評価パイプラインに送信します。一般的な用途は次のとおりです。

• 履歴セッションでのスコアラーの実行
• 一括分析とカスタムレポート
• Agentforce Grid との統合

メタデータ API

Salesforce メタデータ API を使用してカスタムスコアラーを作成および管理し、CI/CD パイプラインを含むプロコードおよび DevOps ワークフローでスコアラーをリリースできるようにします。

使用事例