Solicitar procesamiento por lotes de plantillas

Descripción general

El procesamiento por lotes genera un gran número de respuestas de solicitudes de forma asíncrona en una sola solicitud. Este enfoque le ayuda a evitar alcanzar los límites de frecuencia LLM y gestiona de forma eficiente la generación de contenido de gran volumen.

El sistema pone en cola su trabajo por lotes, procesa todos los elementos y almacena los resultados. Puede monitorear el progreso del trabajo y recuperar respuestas completadas cuando esté listo. El tiempo de realización real depende del proveedor del modelo y puede variar.

Los casos de uso comunes incluyen:

• Creación de campañas de email personalizadas para miles de clientes.
• Generación de descripciones de productos desde datos de catálogo.
• Resumiendo grandes volúmenes de notas de casos o comentarios de clientes.
• Traducción de contenido entre múltiples registros.
• Desencadenar la generación masiva de contenido en una programación o por cambios de registro.

Opciones de implementación

Salesforce proporciona dos métodos principales para implementar el procesamiento por lotes:

Flujo

Este enfoque funciona para la mayoría de los casos de uso y es el mejor para administradores de Salesforce que crean soluciones sin código. Utilice la acción Solicitar plantilla (Generación de lotes) en un flujo desencadenado por programación o desencadenado por registro para crear trabajos por lotes que se ejecutan automáticamente. Estos flujos incluyen rutas Completado y Tiempo de espera agotado, lo que le permite gestionar escenarios de finalización y tiempo de espera correctos de forma diferente.

Límites:

• Los trabajos por lotes de flujos suelen comenzar a procesarse en el plazo de dos horas desde el envío.
• Hasta 10.000 generaciones al día para modelos estándar.
• Si utiliza modelos que admiten el procesamiento por lotes nativo, hasta 50.000 generaciones al día.
• Hasta 1.000 elementos por hora al utilizar Recuperadores de búsqueda web.

Apex

Este enfoque ofrece la máxima flexibilidad para la integración y automatización personalizadas. Utilice los objetos AiJobRun y AiJobRunItem para crear y gestionar trabajos por lotes de forma programática. Apex se recomienda cuando desea:

• Cree una interfaz de usuario personalizada. Por ejemplo: un botón que inicia un trabajo o un tablero que enumera trabajos por lotes.
• Controle el tamaño del lote de forma dinámica (acumule elementos hasta un umbral de tiempo o conteo, luego comience).
• Desencadenador desde eventos externos que no son desencadenados por registro o basados en programación.

Límites:

• Hasta 1.000 AiJobRunItems para cada AiJobRun.
• Si utiliza modelos que admiten el procesamiento por lotes nativo, existe un límite de 10.000 AiJobRunItems para cada AiJobRun.
• Hasta 1.000 elementos por hora al utilizar Recuperadores de búsqueda web.
• Hasta 5 objetos AiJobRun en 24 horas. Si sus solicitudes superan el límite diario, se colocan en un estado en cola hasta que se restablece el límite.

Mejores prácticas

Seleccione el modelo correcto:

• Utilice un modelo etiquetado como Compatible por lotes: Sí en Generador de solicitudes para un procesamiento más rápido.
• Evite modelos en miniatura para lotes ya que son notablemente más lentos.

Ajuste el tamaño de sus lotes:

• Más grande es mejor. El número de trabajos es el factor limitante, no los elementos en esos trabajos. Los lotes de 200 y 2.000 finalizan aproximadamente en la misma cantidad de tiempo.
• Uno o más elementos con fallos no bloquean el resto del lote.

Seleccione la implementación correcta: Flujo frente a Apex:

• Utilice Flujo a menos que necesite una interfaz de usuario personalizada para iniciar trabajos, tamaño de lote dinámico o desencadenadores que no sean de registro y no de programación.

Diseñe su flujo:

• Solo realice una acción por lotes por flujo. Las acciones por lotes encadenadas se ponen en cola y aumentan significativamente el tiempo de ejecución.
• Combine solicitudes en una sola plantilla cuando sea posible.
• Establezca el tiempo de espera en 1 día.

Monitorear el progreso del trabajo:

• Consulte AiJobRun y AiJobRunItem para obtener información sobre el estado, los conteos de artículos, los errores y las respuestas.
• Suscríbase a AiJobRunStatusEvent para flujos de trabajo dirigidos por eventos.

Limitaciones y consideraciones

Requisitos

• La plantilla de solicitud especificada debe tener una versión activa.
• Para Flujo: Un Usuario de flujo de trabajo predeterminado debe configurarse en Configuración de automatización de procesos.

Comportamiento de procesamiento

• Proceso de trabajos en orden cronológico basado en la fecha de creación.
• Los trabajos creados con pocos segundos de diferencia podrían no seguir una secuencia estricta.
• Tras el inicio del procesamiento, los valores de entrada y ciertos campos se vuelven inmutables.
• Los cambios de estado de trabajos están gestionados por el sistema y no se pueden alterar manualmente.
• El tiempo de finalización depende del proveedor del modelo y puede variar.

Consideraciones sobre la plataforma

• El procesamiento por lotes es asíncrono y los resultados no son inmediatos.
• Establezca duraciones de tiempo de espera apropiadas. Se recomienda un día para trabajos por lotes de Flujo.
• Monitoree el estado del trabajo a través de eventos de plataforma o consultando registros de trabajo.
• Planifique el tiempo de procesamiento cuando diseñe flujos de trabajo que distinguen entre el tiempo.
• Considere la gestión de reserva para elementos con fallos en un lote.