WhatsApp Voice-Nachrichten

Funktionsweise von Sprachnachrichten

Wenn ein WhatsApp-Benutzer eine Sprachnachricht sendet, verarbeitet Agentforce sie in den folgenden Schritten.

• Lädt die Audiodatei herunter und transkribiert sie über die Einstein Trust Layer in Text.
• Verarbeitet den transkribierten Text mithilfe des Argumentationsmoduls des Agenten.
• Generiert eine Antwort.
• Sendet die Antwort als:
  • Eine Sprachnachricht, wenn Sprachantworten aktiviert sind.
  • Eine SMS oder ein anderes verfügbares Antwortformat, wenn Sprachantworten nicht aktiviert sind.

Funktionsweise von Voice- und Textantworten

Wenn Sprachantworten aktiviert sind, antwortet Agentforce automatisch im selben Format wie jede eingehende Nachricht: Bei einer Sprachnachricht in wird eine Sprachnachricht ausgegeben, bei einer Textnachricht in wird eine Textnachricht ausgegeben.

WhatsApp-Benutzer können während der Unterhaltung zwischen Sprache und Text wechseln und Agentforce gleicht den Antworttyp für jeden Zug ab. Es gibt keine Einstellung, mit der der Agent immer mit Stimme antworten kann.

Wenn Sprachantworten deaktiviert sind, kann der Agent eingehende Sprachnachrichten weiterhin abschreiben und verarbeiten, antwortet jedoch mit Text.

Dateiformate und Obergrenzen

Sprachnachrichten unterstützen die folgenden Dateiformate und Obergrenzen.

Sprachnachrichten verwenden das OGG-Audioformat mit dem MIME-Typ audio/ogg. Unterstützte Dateierweiterungen sind .ogg, .oga und .ogx.

Wenn eine Sprachnachricht die Obergrenzen für die unterstützte Dateigröße oder -dauer überschreitet, wird sie von Agentforce nicht verarbeitet.

Sprachnachrichten unterstützen die folgenden Textobergrenzen.

Wenn eine Agentenantwort die unterstützte Textlänge überschreitet, sendet Agentforce die Antwort als Text anstelle von Voice.

Überlegungen und Einschränkungen

Antwortzeit

Die Verarbeitung von Sprachnachrichten dauert länger als die von Textnachrichten, da Agentforce die eingehende Audiodatei transkribiert und Sprache für die Antwort generiert. Die typische Antwortzeit beträgt 12-17 Sekunden. Längere Agentenantworten können mehr als 20 Sekunden dauern. Halten Sie Agentenantworten kurz, um die Antwortzeit zu verkürzen.

Audioqualität

Die Sprachabschrift und Sprachsynthese hängen von der Audioqualität ab. Hintergrundgeräusche, lange Stille oder unklare Sprache können die Abschriftsgenauigkeit verringern. Wenn Agentforce eine Sprachnachricht nicht genau transkribieren kann, wird der WhatsApp-Benutzer aufgefordert, die Nachricht zu wiederholen oder als Text zu senden.

Kanalunterstützung

Sprachnachrichten funktionieren nur bei WhatsApp. Andere Messaging-Kanäle unterstützen keine Sprachnachrichten.

Spracherkennung

Behalten Sie jede Unterhaltung in einer einzigen Sprache bei, die der Sprache entspricht, die der WhatsApp-Benutzer verwendet, und der Sprache, die für den Agenten konfiguriert ist. Das Wechseln von Sprachen während einer Sitzung kann sich auf die Spracherkennung für nachfolgende Antworten auswirken.

Konfiguration der Unteragentensprache

Wenn Ihr Agent Unteragenten verwendet, konfigurieren Sie die einzelnen Unteragenten so, dass sie dieselbe Sprache wie der Agent verwenden. Wenn ein Unteragent in einer anderen Sprache antwortet, verwendet der Agent seine konfigurierte Sprache für die Sprachantwort, was zu einer falschen Aussprache oder einem unbeabsichtigten Akzent führen kann.

Wenn ein englischsprachiger Agent beispielsweise einen für Spanisch konfigurierten Unteragenten verwendet, kann der Agent die spanische Antwort des Unteragenten mithilfe der englischen Aussprache aussprechen.

Agentenanforderungen

Ihr Agent muss im Agentforce Builder erstellt werden und das Atlas-Überlegungenmodul verwenden. Im alten Generator erstellte Agenten werden nicht unterstützt.

Eskalationsmeldungen

Wenn eine Unterhaltung erfolgreich an einen menschlichen Agenten übergeben wird, entspricht die Übergabenachricht dem Eingabeformat des WhatsApp-Benutzers. Wenn der WhatsApp-Benutzer eine Sprachnachricht gesendet hat, wird die Übergabenachricht als Sprache gesendet. Wenn der WhatsApp-Benutzer eine SMS gesendet hat, wird die Übergabenachricht als Text gesendet. Wenn die Übergabe fehlschlägt, wird die Nachricht immer als Text gesendet.

Voice-Rendering auf WhatsApp

Voice-Antworten werden aufgrund der WhatsApp-Formatanforderungen als Audioanhänge und nicht als Sprachnachrichten angezeigt.

Turn-matched responses (Antworten mit Rundenübereinstimmung)

Agentforce antwortet nur dann mit einer Sprachnachricht, wenn der WhatsApp-Benutzer eine Sprachnachricht sendet. Textnachrichten erhalten Textantworten. Sie können den Agenten nicht so konfigurieren, dass er immer mit Voice antwortet.

Abschriftsbasierte Argumentation

Agentforce gibt Gründe für den transkribierten Text an, nicht für das Originalaudio. Ton, Emotionen, Hintergrundgeräusche oder andere Hinweise ohne Sprache werden nicht interpretiert.

Obergrenzen für Sprachnachrichten

WhatsApp-Benutzer können pro Unterhaltungsrunde eine Sprachnachricht senden. Mehrere Sprachnachrichten in derselben Nachricht werden nicht unterstützt.

Multimodale Eingaben

Sprachnachrichten unterstützen nur Audio. Bilder, Dateien und andere multimodale Eingaben werden in derselben Nachricht nicht unterstützt.

Datenverarbeitung

Für die Sprachnachrichtenabschrift und Sprachsynthese werden Agentforce Speech Foundations verwendet. Informationen zur Verarbeitung Ihrer Daten finden Sie unter Infrastruktur und Subprozessoren.