Elaborazione batch modello di prompt

Panoramica

L'elaborazione batch genera un numero elevato di risposte rapide in modo asincrono in una singola richiesta. Questo approccio consente di evitare di superare i limiti di traffico LLM e di gestire in modo efficiente la generazione di contenuti a volume elevato.

Il sistema mette in area di attesa il processo batch, elabora tutti gli elementi e memorizza i risultati. È possibile monitorare l'avanzamento del processo e recuperare le risposte completate quando si è pronti. Il tempo di completamento effettivo dipende dal fornitore del modello e può variare.

I casi d'uso comuni includono:

• Creazione di campagne email personalizzate per migliaia di clienti.
• Generazione di descrizioni di prodotti dai dati del catalogo.
• Riepilogo di grandi volumi di note caso o feedback dei clienti.
• Traduzione di contenuti in più record.
• Attivare la generazione di contenuti in blocco in base a una pianificazione o a modifiche dei record.

Opzioni di implementazione

Salesforce offre due metodi principali per implementare l'elaborazione batch:

Flusso

Questo approccio funziona per la maggior parte dei casi d'uso ed è adatto agli amministratori Salesforce che creano soluzioni senza codice. Utilizzare l'azione Modello di prompt (generazione batch) in un flusso attivato da pianificazione o da record per creare processi batch eseguiti automaticamente. Questi flussi includono i percorsi Completato e Timeout, che consentono di gestire in modo diverso gli scenari di completamento e timeout riusciti.

Limiti:

• I processi batch del flusso in genere iniziano l'elaborazione entro due ore dall'invio.
• Fino a 10.000 generazioni al giorno per i modelli standard.
• Se si utilizzano modelli che supportano l'elaborazione batch nativa, fino a 50.000 generazioni al giorno.
• Fino a 1.000 elementi all'ora quando si utilizza WebSearch Retrievers.

Apex

Questo approccio offre la massima flessibilità per l'integrazione e l'automazione personalizzate. Utilizzare gli oggetti AiJobRun e AiJobRunItem per creare e gestire processi batch a livello di programmazione. Apex è consigliato quando si desidera:

• Creare un'interfaccia utente personalizzata. Ad esempio: un pulsante che avvia un processo o un cruscotto digitale che elenca i processi batch.
• Controllare le dimensioni dei batch in modo dinamico (accumulare articoli fino a un conteggio o a una soglia di tempo, quindi iniziare).
• Attivazione da eventi esterni che non sono attivati da record o basati su pianificazione.

Limiti:

• Fino a 1.000 AiJobRunItems per ogni AiJobRun.
• Se si utilizzano modelli che supportano l'elaborazione batch nativa, esiste un limite di 10.000 AiJobRunItems per ogni AiJobRun.
• Fino a 1.000 elementi all'ora quando si utilizza WebSearch Retrievers.
• Fino a 5 oggetti AiJobRun in 24 ore. Se le richieste superano il limite giornaliero, vengono poste in stato di area di attesa finché il limite non viene reimpostato.

Procedure consigliate

Selezionare il modello giusto:

• Utilizzare un modello con etichetta Batch supportato: Sì nel Generatore di prompt per un'elaborazione più rapida.
• Evitare i mini modelli per batch poiché sono notevolmente più lenti.

Dimensioni dei batch:

• Più grande è meglio. Il numero di processi è il fattore limitante, non le voci in quei processi. I batch da 200 e 2.000 terminano più o meno nello stesso periodo di tempo.
• Uno o più elementi non riusciti non bloccano il resto del batch.

Selezionare l'implementazione corretta: Flusso rispetto ad Apex:

• Utilizzare Flusso a meno che non sia necessaria un'interfaccia utente personalizzata per avviare processi, dimensionamento batch dinamico o trigger non di record e non di pianificazione.

Progettare il flusso:

• Eseguire una sola azione batch per flusso. Le azioni batch concatenate si mettono in area di attesa e aumentano in modo significativo il runtime.
• Ove possibile, combinare i prompt in un unico modello.
• Impostare il timeout su 1 giorno.

Monitorare l'avanzamento del processo:

• Eseguire query su AiJobRun e AiJobRunItem per verificare lo stato, i conteggi degli elementi, gli errori e le risposte.
• Abbonati ad AiJobRunStatusEvent per i flussi di lavoro basati sugli eventi.

Limitazioni e considerazioni

Prerequisiti

• Il modello di prompt specificato deve avere una versione attiva.
• Per Flusso: Un Utente flusso di lavoro predefinito deve essere configurato in Impostazioni di automazione dei processi.

Comportamento di elaborazione

• I processi vengono elaborati in ordine cronologico in base alla data di creazione.
• I processi creati a distanza di pochi secondi l'uno dall'altro possono non seguire una sequenza rigorosa.
• Dopo l'inizio dell'elaborazione, i valori di input e alcuni campi diventano immutabili.
• Le modifiche dello stato del processo sono gestite dal sistema e non possono essere modificate manualmente.
• Il tempo di completamento dipende dal fornitore del modello e può variare.

Considerazioni sulla piattaforma

• L'elaborazione in batch è asincrona e i risultati non sono immediati.
• Impostare le lunghezze di timeout appropriate. Per i processi batch del flusso si consiglia un giorno.
• Monitorare lo stato dei processi tramite gli eventi piattaforma o eseguendo query sui record dei processi.
• Pianificare il tempo di elaborazione quando si progettano flussi di lavoro sensibili al tempo.
• Valutare la gestione di fallback per gli elementi non riusciti all'interno di un batch.