WhatsApp ボイスメッセージ

ボイスメッセージのしくみ

WhatsApp ユーザがボイス メッセージを送信すると、Agentforce は次の手順でそのメッセージを処理します。

• オーディオファイルをダウンロードし、Einstein Trust Layer を介してテキストに文字起こしします。
• エージェントの推論エンジンを使用して、文字起こしされたテキストを処理します。
• 応答を生成します。
• 応答を次のように送信します。
  • 音声返信が有効になっている場合の音声メッセージ。
  • テキストメッセージ、または音声返信が有効になっていない場合に使用可能な別の応答形式。

音声およびテキスト返信のしくみ

音声返信を有効にすると、Agentforce は各受信メッセージと同じ形式で自動的に返信します。つまり、ボイス メッセージ受信の場合はボイス メッセージ、テキスト メッセージ受信の場合はテキスト メッセージとなります。

WhatsApp ユーザは会話中に音声とテキストを切り替えることができ、Agentforce は各ターンの応答種別を照合します。エージェントが常に音声で応答するように設定はありません。

音声返信が無効になっていても、エージェントは受信した音声メッセージを文字起こしして処理できますが、テキストで応答します。

ファイル形式と制限

ボイスメッセージでは、次のファイル形式と制限がサポートされています。

ボイスメッセージでは、Audio/ogg MIME 種別の OGG オーディオ形式が使用されます。サポートされているファイル拡張子は、.ogg、.oga、および .ogx です。

ボイス メッセージがサポートされているファイル サイズまたは期間の制限を超えた場合、Agentforce はボイス メッセージを処理しません。

ボイスメッセージでは、次のテキスト制限がサポートされます。

エージェント応答がサポートされているテキスト長を超える場合、Agentforce は応答を音声ではなくテキストとして送信します。

考慮事項と制限

応答時間

Agentforce は着信オーディオを文字起こしし、応答用の音声を生成するため、ボイス メッセージの処理時間はテキスト メッセージよりも長くなります。通常の応答時間は 12 ～ 17 秒です。エージェントの応答が長くなると、20 秒を超えることがあります。応答時間を短縮するには、エージェントの応答を簡潔にします。

オーディオ品質

音声の文字起こしと音声合成は、音質によって異なります。周囲の雑音、長時間の無音、不明瞭な発言があると、文字起こしの精度が低下する可能性があります。Agentforce がボイス メッセージを正確に文字起こしできない場合、メッセージを繰り返すかテキストとして送信するように WhatsApp ユーザに要求します。

チャネルのサポート

ボイスメッセージは WhatsApp でのみ機能します。他のメッセージングチャネルでは、ボイスメッセージはサポートされていません。

言語検出

各会話は、WhatsApp ユーザーが使用する言語とエージェントが設定した言語に一致する 1 つの言語で維持します。セッション中に言語を切り替えると、後続の返信の言語検出に影響する可能性があります。

サブエージェント言語設定

エージェントがサブエージェントを使用する場合、各サブエージェントがエージェントと同じ言語を使用するように設定します。サブエージェントが別の言語で応答すると、エージェントは音声応答に設定した言語を使用します。そのため、発音が不正確になったり、意図しないアクセントになったりする可能性があります。

たとえば、英語のエージェントがスペイン語用に設定されたサブエージェントを使用している場合、エージェントは英語の発音を使用してサブエージェントのスペイン語の応答を発音できます。

エージェントの要件

エージェントは Agentforce Builder で作成され、Atlas 推論エンジンを使用する必要があります。従来のビルダーで作成されたエージェントはサポートされません。

エスカレーションメッセージ

会話を人間のエージェントに正常に渡すと、ハンドオフメッセージが WhatsApp ユーザーの入力形式と一致します。WhatsApp ユーザーが音声メッセージを送信した場合、ハンドオフメッセージは音声として送信されます。WhatsApp ユーザーがテキストメッセージを送信した場合、ハンドオフメッセージはテキストとして送信されます。ハンドオフに失敗した場合、メッセージは常にテキストとして送信されます。

WhatsApp での音声レンダリング

WhatsApp 形式の要件により、音声返信は音声メッセージではなく音声添付ファイルとして表示されます。

ターンマッチ返信

Agentforce は、WhatsApp ユーザがボイス メッセージを送信したときにのみ、ボイス メッセージで応答します。テキストメッセージはテキスト応答を受信します。常に音声で応答するようにエージェントを設定することはできません。

トランスクリプトベースの推論

元の音声ではなく、文字起こしされたテキストに対する Agentforce の理由。口調、感情、背景音、その他の非言語キューは解釈されません。

ボイスメッセージの制限

WhatsApp ユーザーは、会話のターンごとに 1 つのボイスメッセージを送信できます。同じメッセージ内の複数のボイスメッセージはサポートされていません。

マルチモーダル入力

音声メッセージでは音声のみがサポートされます。同じメッセージでは、画像、ファイル、その他のマルチモーダル入力はサポートされていません。

データ処理

ボイス メッセージの文字起こしと音声合成では、Agentforce Speech Foundation が使用されます。データの処理方法についての詳細は、「インフラストラクチャとサブプロセッサ」を参照してください。