Processamento em lote do modelo de prompt

Visão geral

O processamento em lote gera grandes números de respostas de prompts de modo assíncrono em uma única solicitação. Essa abordagem ajuda você a evitar atingir os limites de taxa de LLM e lida com eficiência com a geração de conteúdo de alto volume.

O sistema coloca seu trabalho em lote na fila, processa todos os itens e armazena os resultados. Você pode monitorar o progresso do trabalho e recuperar respostas concluídas quando estiver pronto. O tempo de conclusão real depende do provedor do modelo e pode variar.

Os casos de uso comuns incluem:

• Criar campanhas de email personalizadas para milhares de clientes.
• Gerar descrições de produto de dados do catálogo.
• Resumindo grandes volumes de notas de caso ou feedback do cliente.
• Traduzir conteúdo entre vários registros.
• Acionar a geração de conteúdo em massa por uma agenda ou alterações de registro.

Opções de implementação

O Salesforce fornece dois métodos principais para implementar o processamento em lote:

Fluxo

Essa abordagem funciona para a maioria dos casos de uso e é melhor para administradores do Salesforce criando soluções sem código. Use a ação Modelo de prompt (gerência de lote) em um fluxo acionado por agenda ou acionado por registro para criar trabalhos em lote executados automaticamente. Esses fluxos incluem caminhos Concluídos e Tempo limite, permitindo que você lide com cenários de conclusão bem-sucedida e tempo limite de maneira diferente.

Limites:

• Os trabalhos em lote de fluxo geralmente começam o processamento dentro de duas horas após o envio.
• Até 10.000 gerações por dia para modelos padrão.
• Se estiver usando modelos que oferecem suporte ao processamento em lote nativo, até 50.000 gerações por dia.
• Até 1.000 itens por hora ao usar WebSearch Recuperadores.

Apex

Essa abordagem oferece flexibilidade máxima para integração e automação personalizadas. Use os objetos AiJobRun e AiJobRunItem para criar e gerenciar trabalhos em lote de modo programático. O Apex é recomendado quando você deseja:

• Crie uma IU personalizada. Por exemplo: um botão que inicia um trabalho ou um painel listando trabalhos em lote.
• Controle o tamanho do lote dinamicamente (acumule itens até uma contagem ou limite de tempo e comece).
• É acionado de eventos externos que não são acionados por registro ou baseados em agenda.

Limites:

• Até 1.000 AiJobRunItems para cada AiJobRun.
• Se estiver usando modelos que oferecem suporte ao processamento em lote nativo, haverá um limite de 10 mil AiJobRunItems para cada AiJobRun.
• Até 1.000 itens por hora ao usar WebSearch Recuperadores.
• Até cinco objetos do AiJobRun em 24 horas. Se suas solicitações excederem o limite diário, elas serão colocadas em um status em fila até o limite ser redefinido.

Práticas recomendadas

Selecione o modelo certo:

• Use um modelo rotulado como Suportado em lote: Sim no Criador de prompts para o processamento mais rápido.
• Evite modelos em miniatura para lote, pois eles são notavelmente mais lentos.

Dimensione seus lotes:

• Maior é melhor. O número de trabalhos é o fator limitante, não os itens nesses trabalhos. Lotes de 200 e 2.000 são concluídos em aproximadamente a mesma quantidade de tempo.
• Um ou mais itens com falha não bloqueiam o restante do lote.

Selecione a implementação certa: Fluxo vs. Apex:

• Use o Fluxo, a menos que você precise de uma IU personalizada para iniciar trabalhos, dimensionamento de lote dinâmico ou acionadores não de registro e não de agendamento.

Projetar seu fluxo:

• Execute apenas uma ação em lote por fluxo. Ações em lote encadeadas são colocadas na fila e aumentam significativamente o tempo de execução.
• Combine avisos em um único modelo quando possível.
• Defina o tempo limite como 1 dia.

Monitorar o progresso do trabalho:

• Consulte AiJobRun e AiJobRunItem para status, contagens de itens, erros e respostas.
• Assine o AiJobRunStatusEvent para fluxos de trabalho conduzidos por evento.

Limitações e considerações

Pré-requisitos

• O modelo de prompt especificado deve ter uma versão ativa.
• Para Fluxo: Um Usuário de fluxo de trabalho padrão deve ser configurado nas Configurações de automação de processos.

Comportamento de processamento

• Os trabalhos são processados em ordem cronológica com base na data de criação.
• Os trabalhos criados em segundos um do outro podem não seguir uma sequência rígida.
• Após o início do processamento, os valores de entrada e determinados campos se tornam imutáveis.
• As alterações de status do trabalho são gerenciadas pelo sistema e não podem ser alteradas manualmente.
• O tempo de conclusão depende do provedor do modelo e pode variar.

Considerações sobre plataforma

• O processamento em lote é assíncrono e os resultados não são imediatos.
• Defina os períodos de tempo limite adequados. Um dia é recomendado para trabalhos em lote de Fluxo.
• Monitore o status do trabalho por meio de eventos de plataforma ou consultando registros de trabalho.
• Planeje o tempo de processamento ao projetar fluxos de trabalho urgentes.
• Considere a manipulação de fallback para itens com falha em um lote.