複数のインテント予測のテスト

一括テストを使用して、次のことを行います。

• 1 つの要求で最大 1000 件の発言を評価する
• 予想されるインテントと予測されたインテントの比較
• 各予測の信頼性スコアを確認する
• サマリー総計値を使用して全体的なパフォーマンスを分析する

一括テストは次の 2 つの方法で実行できます。

• Test Custom Utterances (カスタム発言をテスト): 特定のシナリオを評価するために、発言と予測されるインテントのデータセットを提供します。
• 既存のボットデータを使用してテスト: ボットですでに設定されているすべての発言を評価し、完全なパフォーマンス概要を生成します。

この 2 つの方法は、異なる API エンドポイントに対応します。

開始する前に、インテントの Einstein ボットと Einstein を有効にして、モデルを構築します。「一括入力テスト担当者」パイロット権限を有効にし、ボットの [概要] ページで言語間インテントモデル (インテント V3) を有効にします。

メモ Salesforce カスタマーサポートに連絡して、「一括入力テスト担当者」パイロット権限を有効にします。言語間インテントモデルを無効にすると、Salesforce は Intent Standard V2 (単一言語の場合) または Intent Multi-Language 2.5 (複数言語の場合) を使用してモデルを作成します。

一括テストのしくみ

一括テストでは、ボットのインテントモデルに対して発言が評価され、以下が返されます。

• 一連の発言または選択したボットバージョンを使用して評価要求を開始します。
• インテントモデルでは、各発言が処理され、最も関連性の高いインテントが予測されます。
• 予測インテントが提供されると、システムによって予測インテントが比較されます。
• 各予測に信頼性スコアと評価が割り当てられます。
• 全体的なパフォーマンス総計値を含む予測概要が生成されます。
• 評価されたすべての発言の統合結果が返されます。

予測結果の理解

ボットによる発言の分類精度を把握し、改善すべき領域を特定するには、予測結果を確認します。

発言ごとの結果。発言ごとに、次の内容が返されます。

• 予測インテント: モデルで識別されるインテント
• 予測結果: 予測されたインテントが予期されるインテントと一致するかどうかを示します (合格、不合格、未処理)。
• 信頼性スコア: 予測が正しい可能性を示します。

Summary Metrics (サマリー評価指標)。全体的なパフォーマンスを評価するのに役立つ集計された総計値が表示されます。

• Success rate (成功率): 正しく予測された発言の割合
• 失敗数: 誤って予測された発言の数
• インテントカバー率: 1 つ以上の発言で正しく予測されたインテントの割合
• エラー数: ボットが処理できなかった発言の数

考慮事項

一括テストを使用するときは、次の考慮事項に留意してください。

• 一度に最大 1000 件の発言を評価できます。
• 結果は、インテントトレーニングデータの品質によって異なります。
• 失敗した予測を確認して、インテントの精度を向上させます。
• 個々の発言のエラーによって全体的な評価が停止することはありません。

API の詳細は、『Connect REST API 開発者ガイド』の「ボット発言インテント予測リソース」を参照してください。