Тестирование нескольких прогнозов намерений

Используйте пакетное тестирование для:

• Оценка не более 1000 реплик в одном запросе
• Сравнение ожидаемых и прогнозируемых намерений
• Просмотр рейтингов надежности для каждого прогноза
• Анализ общей производительности посредством сводных показателей

Пакетное тестирование можно выполнить двумя способами:

• Тестирование настраиваемых реплик: Предоставьте набор данных реплик и ожидаемых намерений для оценки определенных сценариев.
• Тестирование с использованием существующих данных бота: Оцените все реплики, уже настроенные в боте, чтобы создать полную сводку по производительности.

Эти два подхода соответствуют разным конечным точкам API.

Прежде чем начать, включите боты Einstein и Einstein for Intents, и создайте модель. Включите пробное полномочие «Тестировщик пакетного ввода» и включите кросс-язычную модель намерений (Intent V3) на странице общих сведений о боте.

Примечание Обратитесь в службу поддержки Salesforce для включения пробного полномочия «Тестировщик пакетного ввода». Если вы выключите кросс-язычную модель намерений, Salesforce создаст вашу модель посредством Intent Standard V2 (для отдельных языков) или Intent Multi-Language 2.5 (для нескольких языков).

Принцип работы пакетного тестирования

Пакетное тестирование оценивает реплики относительно модели намерений бота и возвращает:

• Вы запускаете запрос оценки с набором реплик или выбранной версией бота.
• Модель намерений обрабатывает каждую реплику и прогнозирует наиболее актуальное намерение.
• Система сравнивает прогнозируемое намерение с ожидаемым намерением, при его наличии.
• Система назначает оценку надежности и рейтинг каждому прогнозу.
• Система создает сводку прогноза с общими показателями производительности.
• Система возвращает консолидированные результаты для всех оцененных реплик.

Понимание результатов прогноза

Чтобы понять, насколько точно бот классифицирует реплики и определить области для улучшения, просмотрите результаты прогноза.

Результаты на реплику. Для каждой реплики система возвращает:

• Прогнозируемое намерение: Намерение, определенное моделью
• Результат прогноза: Указывает, соответствует ли прогнозируемое намерение ожидаемому намерению (передача, сбой или необработанное)
• Рейтинг надежности: Указывает на вероятность корректности прогноза

Сводные показатели. Система предоставляет агрегированные показатели для оценки общей производительности:

• Уровень успеха: Процент правильно прогнозируемых реплик
• Количество отказов: Количество реплик, прогнозируемых неправильно
• Уровень покрытия намерения: Процент намерений, правильно прогнозируемых как минимум для одной реплики
• Количество ошибок: Количество реплик, которые не удалось обработать боту

Рекомендации

Ниже перечислены рекомендации по использованию пакетного тестирования.

• Одновременно можно оценить не более 1000 реплик.
• Результаты зависят от качества данных обучения намерений.
• Просмотрите неудачные прогнозы для повышения точности намерений.
• Ошибки для отдельных реплик не останавливают общую оценку.

Для получения сведений об API см. Ресурсы прогноза реплик бота в Руководстве разработчика Connect REST API.