Вы находитесь здесь:
Голосовые сообщения WhatsApp
Голосовые сообщения WhatsApp Voice позволяют пользователям WhatsApp взаимодействовать с агентом Agentforce посредством голосового режима вместо текстового. Agentforce транскрибирует голосовые сообщения в текст, обрабатывает их, как набранные сообщения, и автоматически отвечает в том же формате, который используется для каждого сообщения. Пользователи WhatsApp могут переключаться между голосом и текстом в одном разговоре.
Принцип работы голосовых сообщений
Когда пользователь WhatsApp отправляет голосовое сообщение, Agentforce обрабатывает его следующим образом.
- Загружает аудиофайл и транскрибирует его в текст посредством слоя Einstein Trust.
- Обрабатывает транскрибированный текст посредством механизма рассуждения агента.
- Создание ответа.
- Отправляет ответ в виде:
- Голосовое сообщение при включении голосовых ответов.
- Текстовое сообщение или другой доступный формат ответа, если голосовые ответы не включены.
Принцип работы голосовых и текстовых ответов
При включении голосовых ответов Agentforce автоматически отвечает в том же формате, что и каждое входящее сообщение: голосовое сообщение в получает голосовое сообщение, текстовое сообщение в получает текстовое сообщение.
| Сообщение пользователя WhatsApp | Ответ агента |
|---|---|
| Голосовое сообщение | Голосовое сообщение (при включении голосовых ответов) |
| Голосовое сообщение | Текстовое сообщение (когда голосовые ответы выключены) |
Пользователи WhatsApp могут переключаться между голосом и текстом во время разговора, а Agentforce соответствует типу ответа для каждого хода. Нет настройки, чтобы заставить агента всегда отвечать голосом.
Если голосовые ответы выключены, агент может транскрибировать и обрабатывать входящие голосовые сообщения, но отвечает текстом.
Форматы и ограничения файлов
Голосовые сообщения поддерживают следующие форматы и ограничения файлов.
| Свойство | Пользователь WhatsApp для агента | Агент пользователя WhatsApp |
|---|---|---|
| Формат аудио | OGG (аудио/огг) | OGG (аудио/огг) |
| Размер файла | До 2 МБ | До 5 МБ |
| Продолжительность | Около 1 минуты | Около 1 минуты |
Голосовые сообщения используют аудиоформат OGG с типом MIME audio/ogg. Поддерживаемые расширения файлов: .ogg, .oga и .ogx.
Если голосовое сообщение превышает поддерживаемый размер файла или ограничения продолжительности, Agentforce его не обрабатывает.
Голосовые сообщения поддерживают следующие ограничения текста.
| Свойство | Пользователь WhatsApp для агента | Агент пользователя WhatsApp |
|---|---|---|
| Длина текста | 2000 символов после транскрибирования | 3000 символов до синтеза речи |
Если ответ агента превышает поддерживаемую длину текста, Agentforce отправляет ответ в виде текста вместо голосового.
Рекомендации и ограничения
- Время ответа
Обработка голосовых сообщений занимает больше времени, чем текстовых сообщений, поскольку Agentforce транскрибирует входящий аудио и генерирует речь для ответа. Обычное время ответа составляет 12-17 секунд. Более длительные ответы агента могут занять более 20 секунд. Держите ответы агентов краткими, чтобы сократить время ответа.
- Качество звука
Транскрибирование Voice и синтез речи зависят от качества звука. Фоновый шум, длительное молчание или неясная речь могут снизить точность транскрибирования. Если Agentforce не может точно транскрибировать голосовое сообщение, он просит пользователя WhatsApp повторить сообщение или отправить его в виде текста.
- Поддержка канала
Голосовые сообщения работают только в WhatsApp. Другие каналы службы сообщений не поддерживают голосовые сообщения.
- Обнаружение языка
Каждый разговор должен вестись на одном языке, соответствующем языку, используемому пользователем WhatsApp, и языку, настроенному для агента. Переключение языков во время сеанса может повлиять на обнаружение языков для последующих ответов.
- Конфигурация языка субагента
Если ваш агент использует субагентов, настройте использование каждым субагентом того же языка, что и агент. Если субагент отвечает на другом языке, агент использует настроенный язык для голосового ответа, что может привести к неправильному произношению или нежелательному акценту.
Например, если англоязычный агент использует субагент, настроенный на испанский, агент может произнести испанский ответ субагента посредством английского произношения.
- Требования к агенту
Ваш агент должен быть создан в Agentforce Builder и использовать механизм рассуждения Atlas. Агенты, созданные в устаревшем конструкторе, не поддерживаются.
- Сообщения о расширении
При успешной передаче разговора агенту-человеку сообщение о передаче соответствует формату ввода пользователя WhatsApp. Если пользователь WhatsApp отправил голосовое сообщение, то сообщение о передаче отправляется как голосовое. Если пользователь WhatsApp отправил текстовое сообщение, то сообщение о передаче отправляется в виде текста. Если передача не удалась, сообщение всегда отправляется в виде текста.
- Отображение голоса в WhatsApp
Голосовые ответы отображаются в виде аудио-вложений, а не голосовых сообщений из-за требований к формату WhatsApp.
- Поворотные ответы
Agentforce отвечает голосовым сообщением, только когда пользователь WhatsApp отправляет голосовое сообщение. Текстовые сообщения получают текстовые ответы. Невозможно настроить агента на то, чтобы он всегда отвечал голосом.
- Рассуждения на основе транскрипта
Причины Agentforce над транскрибированным текстом, а не над оригинальной аудиозаписью. Он не интерпретирует интонацию, эмоции, фоновые звуки или другие неречевые сигналы.
- Ограничения голосовых сообщений
Пользователи WhatsApp могут отправлять по одному голосовому сообщению за ход разговора. Несколько голосовых сообщений в одном сообщении не поддерживаются.
- Мультимодальные вводные данные
Голосовые сообщения поддерживают только аудио. Изображения, файлы и другие мультимодальные вводные данные не поддерживаются в одном сообщении.
- Обработка данных
Транскрибирование голосовых сообщений и синтез речи используют основы речи Agentforce. Дополнительную информацию об обработке данных см. в разделе Инфраструктура и подпроцессоры.
