Пакетная обработка шаблонов напоминаний

Общие сведения

Пакетная обработка создает большое количество ответов запроса асинхронно в одном запросе. Этот метод помогает избежать превышения ограничений по частоте LLM и эффективно обрабатывает создание массового содержимого.

Система ставит пакетное задание в очередь, обрабатывает все элементы и сохраняет результаты. Вы можете отслеживать ход выполнения задания и извлекать завершенные ответы, когда будете готовы. Фактическое время выполнения зависит от поставщика модели и может меняться.

Распространенные сценарии использования включают:

• Создание персонализированных кампаний электронной почты для тысяч клиентов.
• Создание описаний продуктов на основе данных каталога.
• Резюмирование больших объемов примечаний к обращениям или отзывов клиентов.
• Перевод содержимого в нескольких записях.
• Запуск создания пакетного содержимого по расписанию или посредством изменений записи.

Варианты внедрения

Salesforce предоставляет два основных метода внедрения пакетной обработки:

Поток

Этот метод работает для большинства способов использования и лучше подходит администраторам Salesforce, создающим решения без кода. Используйте действие шаблона подсказки (пакетное создание) в потоке, запущенном расписанием или записью, чтобы создать пакетные задания, выполняемые автоматически. Эти потоки содержат пути «Завершено» и «Время ожидания», что позволяет по-разному обрабатывать сценарии успешного завершения и времени ожидания.

Ограничения:

• Пакетные задания потока обычно начинают обрабатываться в течение двух часов после отправки.
• Не более 10 000 поколений в день для стандартных моделей.
• При использовании моделей, поддерживающих нативную пакетную обработку, не более 50 000 поколений в день.
• Не более 1 000 элементов в час при использовании WebSearch Retrievers.

Apex

Этот подход обеспечивает максимальную гибкость для настраиваемой интеграции и автоматизации. Используйте объекты AiJobRun и AiJobRunItem для создания пакетных заданий и управления ими программным способом. Apex рекомендуется, если вы хотите:

• Создайте настраиваемый пользовательский интерфейс. Например: кнопка, запускающая задание, или панель мониторинга со списком пакетных заданий.
• Динамическое управление размером пакета (накопление элементов до порога количества или времени, потом запуск).
• Триггеры из внешних событий, не запущенных записью или на основе расписания.

Ограничения:

• Не более 1000 AiJobRunItems для каждого AiJobRun.
• При использовании моделей, поддерживающих нативную пакетную обработку, существует ограничение 10 000 AiJobRunItems для каждого AiJobRun.
• Не более 1 000 элементов в час при использовании WebSearch Retrievers.
• Не более 5 объектов AiJobRun в течение 24 часов. Если ваши запросы превышают ежедневное ограничение, они попадают в очередь до сброса ограничения.

Рекомендации

Выберите подходящую модель:

• Используйте модель с меткой «Поддерживается пакет»: Да в Конструкторе подсказок для наиболее быстрой обработки.
• Избегайте мини-моделей для пакета, поскольку они значительно медленнее.

Размер пакетов:

• Чем больше, тем лучше. Количество заданий является ограничивающим фактором, а не элементами в этих заданиях. Пакеты по 200 и 2000 штук заканчиваются примерно за одинаковое время.
• Один или несколько неудачных элементов не блокируют остальной пакет.

Выберите нужную реализацию: Flow по сравнению с Apex:

• Используйте поток, если вам не нужен настраиваемый пользовательский интерфейс для запуска заданий, динамического размера пакета или триггеров без записи и без расписания.

Создайте поток:

• Выполнение только одного пакетного действия на поток. Цепные пакетные действия создают очередь и значительно увеличивают время выполнения.
• При возможности объедините напоминания в один шаблон.
• Установите время ожидания на 1 день.

Отслеживание выполнения задания:

• Запросите статус, количество элементов, ошибки и ответы AiJobRunItem.
• Подпишитесь на AiJobRunStatusEvent для бизнес-процессов под управлением событий.

Ограничения и рекомендации

Предварительные требования

• Указанный шаблон напоминания должен иметь активную версию.
• Для потока: Стандартный пользователь бизнес-правила должен быть настроен в параметрах автоматизации процессов.

Алгоритм обработки

• Задания обрабатываются в хронологическом порядке на основе даты создания.
• Задания, созданные с разницей в несколько секунд, могут выполняться не в строгой последовательности.
• После начала обработки значения ввода и определенные поля становятся неизменяемыми.
• Изменения статуса задания управляются системой и не могут быть изменены вручную.
• Время выполнения зависит от поставщика модели и может меняться.

Рекомендации по платформе

• Пакетная обработка асинхронна, и результаты не являются немедленными.
• Установите соответствующие продолжительности времени ожидания. Один день рекомендуется для пакетных заданий потока.
• Отслеживайте статус задания посредством событий платформы или посредством запроса записей заданий.
• Планируйте время обработки при создании бизнес-правил, чувствительных к времени.
• Рекомендуем использовать резервную обработку для сбойных элементов пакета.