Вы находитесь здесь:
Выбор правильной модели искусственного интеллекта для шаблона напоминания
Выберите и протестируйте модели на основе искусственного интеллекта, чтобы найти оптимальное соответствие вашему определенному сценарию использования. Правильный выбор модели существенно влияет на качество ответа, стоимость и производительность.
Требуемые версии
| Доступно в версиях: Lightning Experience |
| Доступно в версиях: Enterprise, Performance и Unlimited Edition с надстройкой Einstein for Platform, или Einstein или Agentforce для продаж или обслуживания, или Agentforce Foundations |
В Конструкторе подсказок вы выбираете модель на основе искусственного интеллекта, поддерживающую шаблон подсказки. Новейшая или мощная модель не всегда является лучшим выбором. Важно, насколько хорошо модель справляется с конкретной задачей, используя фактические данные.
Принципы выбора модели
Больше всего важна конкретика задачи. Разные модели превосходно справляются с разными задачами. Что работает для создания творческих электронных сообщений о продажах, может не работать для извлечения структурированных данных из обращений. Всегда тестируйте модели на основе фактического сценария использования, а не общих ориентиров.
Производительность над регентацией. Новая модель не подходит автоматически для ваших нужд. По умолчанию рекомендуем использовать новейшую модель — измерьте производительность задачи.
Компромиссы стоимости и точности. Более дорогие модели часто (но не всегда) производят более высокое качество вывода. Соотнесите стоимость модели с доступностью ответа и влиянием на бизнес.
| Сценарий | Потребность в качестве | Выбор модели |
|---|---|---|
| Внутренние сводки обращений, прочитанные службой поддержки | Достаточно хорошо | Экономичная модель |
| Клиентские сообщения эл. почты для организаций-компаний | Отлично | Премиальная модель |
| Пакетное создание полей для тысяч записей | Последовательно и быстро | Модель среднего уровня |
| Разовое резюме | Лучшее возможное | Премиальная модель |
Для производства крайне важна последовательность. Модель, которая создает отличные ответы в 80% случаев и плохие ответы в 20% случаев, не готова к производству. Протестируйте каждую модель несколько раз с одинаковыми вводными данными для измерения согласованности, а не только пиковой производительности.
Тестирование и выбор модели
Выполните этот процесс, чтобы сделать выбор модели на основе фактов.
Шаг 1: Определите критерии успеха. Прежде чем тестировать модели, определите, что означает слово «хороший» для вашего сценария использования. Определите 2-3 измеримых критерия. Например, для электронного напоминания о продажах: персонализация (электронная почта ссылается на конкретные сведения об организации), тональность (профессиональная, но разговорная, оценивается в 1–5) и длина (100–150 слов).
Шаг 2: Создание тестовых данных. Подготовьте 10-20 представительных примеров из реального использования. Используйте фактические записи Salesforce, а не выдуманные тестовые данные. Реальные данные отображают краевые случаи (например, пустые поля, необычные значения, очень длинный или короткий текст и специальные символы). Добавьте разнообразие в отрасли, типы обращений и размеры организаций, а также типичные записи и записи, с которыми возникли проблемы.
Шаг 3: Протестируйте каждую модель. Выполните шаблон напоминания по каждой доступной модели, используя тестовые данные. Используйте одинаковый шаблон напоминания и тестовые данные для всех моделей — измените только выбор модели.
Шаг 4: Результаты измерения. Оцените каждый вывод по критериям успеха. Вычислите сводную статистику, например, уровень сдачи экзаменов, среднюю оценку и уровень соответствия во всех записях тестирования.
Шаг 5: Анализ данных. Сравните модели по критериям успеха. Определите, какая модель лучше всего соответствует критериям, наиболее важным для вашего сценария использования.
Шаг 6: Проверка согласованности. Для лучших 2-3 моделей выполните одно напоминание пять раз против 5 тестовых записей (25 всего запусков на модель). Высокая дисперсия означает, что модель ненадежна для производства. Выберите модели с низкой дисперсией.
Шаг 7: Выберите на основе доказательств. Выберите модель, которая лучше всего соответствует вашим фактическим критериям успеха, а не по репутации или маркетинговым претензиям. Задокументируйте выбор, включительно с критериями, по которым он выиграл, сводкой результатов тестирования и датой тестирования. По мере появления новых моделей можно повторно тестировать и сравнивать с базовым значением.
Знание времени переключения моделей
Ваш выбор модели не является необратимым. Рекомендуем переключиться в данных ситуациях.
- Появятся новые модели. Когда Salesforce выпускает новые модели, протестируйте их по сравнению с базовым уровнем, используя тот же процесс. Не думайте, что новые равны лучше.
- Ваш сценарий использования меняется. Если требования меняются, например, вам нужна поддержка многоязычия или более длительный вывод, повторно протестируйте модели.
- Производительность снижается. Если вы заметили снижение качества вывода со временем, протестируйте альтернативные модели. Иногда обновления модели влияют на производительность для определенных способов использования.
- Рекомендации по стоимости меняются. При резком увеличении объема более эффективная модель может иметь смысл даже при незначительном снижении качества. Проанализируйте, заметна ли разница в качестве конечным пользователям и влияет ли она на бизнес-результаты.
Распространенные ошибки выбора модели
- Выбор на основе общих ориентиров. Эталоны определяют общие возможности. Ваша определенная задача может не соответствовать базовым задачам. Всегда тестируйте фактические напоминания и данные.
- Никогда не тестируй. Модели меняются, выпускаются новые модели и развивается сценарий использования. Запланируйте ежеквартальные проверки модели для критических напоминаний.
- Тестирование с помощью искусственных данных. Производственные данные не четкие. Реальные записи содержат пустые поля, краевые обращения и неожиданные значения. Всегда тестируйте реальные записи Salesforce.
- Тестирование раз. Отдельные тесты не выявляют проблем согласованности. Протестируйте несколько раз с одинаковыми вводными данными для измерения согласованности.
- Оптимизация для неправильного показателя. Сначала определите критерии успешности, потом проверьте на наличие этих конкретных критериев, а не на общее качество или креативность.
Контрольный список сравнения моделей
При сравнении моделей оцените данные элементы.
- Точность: Соответствует ли вывод ожидаемому содержимому и формату?
- Последовательность: Производят ли многократные запуски одинакового качества?
- Соответствие: Подходит ли ответ под ограничения размера и формата поля?
- Тон: Голос соответствует вашему фирменному стилю и способу использования?
- Полнота: Добавлены ли все обязательные элементы?
- Скорость: Время ответа соответствует ожиданиям пользователя?
- Стоимость: Цена соответствует бизнес-значению данного сценария использования?
- Крайние обращения: Как обрабатывается необычные или минимальные данные?
