Azione centrale del flusso: Azioni del modello di prompt
Crea risposte basate sulla risposta del modello di lingua grande (LLM) per il modello di prompt e gli input specificati.
Versioni (Edition) richieste
| Disponibile nelle versioni: Lightning Experience |
| Visualizzare le versioni supportate. |
In Flow Builder, aggiungere un elemento Azione al flusso. Nella finestra Nuova azione, selezionare la categoria Modello di prompt o Modello di prompt e quindi selezionare il nome del modello di prompt da utilizzare. Generazione singola restituisce i risultati uno alla volta al termine, mentre Generazione batch completa tutte le richieste prima di restituire i risultati per evitare di raggiungere i limiti di traffico LLM. La generazione batch supporta 10.000 generazioni al giorno. Se il modello supporta l'elaborazione in batch, il limite è 50.000 al giorno. Cerca batch supportati: Sì in Limiti nell'elenco a discesa Modelli nel Generatore di prompt. Il tempo effettivo per il completamento dipende dal fornitore del modello e può variare.
L'azione Generazione batch ha due percorsi: Completato e Timeout. Aggiungere elementi al percorso Completato per utilizzare la risposta generata. Aggiungere elementi al percorso Timeout per registrare errori e interruzioni. La durata del timeout deve essere impostata su un giorno. Fare clic sull'azione Prompt Template (Batch Generation) (Modello di prompt (generazione batch)) per aggiornare Imposta durata timeout in base alle esigenze. Dopo l'avvio, il processo inizia entro due ore.
Il nome API di ogni azione è preceduto da generatePromptResponse o generatePromptResponseBatch.
Impostazione dei valori di input
I valori di input si basano sulle variabili di input specificate per il modello di prompt.
Memorizzazione dei valori di output
| Campo | Descrizione |
|---|---|
| Risposta rapida | Risposta rapida generata dall'azione in base al modello di prompt e all'input specificati. |
Considerazioni sull'utilizzo di Generazione batch modello di prompt
- Utilizzare solo i tipi di modello Generazione batch con flusso attivato da pianificazione e flusso attivato da record poiché sono progettati per gestire batch di elementi.
- Prima di eseguire un processo di generazione batch, impostare un Utente flusso di lavoro predefinito in Imposta > Impostazioni automazione processi > Impostazioni automazione processi, poiché il processo batch verrà eseguito nel contesto di questo utente. Per ulteriori informazioni, vedere Impostazioni di automazione dei processi.
- Limitare le dimensioni delle richieste a 10.000 elementi al giorno quando si utilizzano i tipi di modello di flusso attivato da pianificazione o da record. Se il modello supporta l'elaborazione in batch, il limite è 50.000 al giorno. Cerca batch supportati: Sì in Limiti nell'elenco a discesa Modelli nel Generatore di prompt. Se le richieste superano il limite giornaliero, vengono poste in stato di area di attesa finché il limite non viene reimpostato.
- Limitare le dimensioni delle richieste a 1.000 elementi all'ora quando si utilizza WebSearch Retrievers.
- La dimensione del prompt risolto non deve superare i 131.072 caratteri. In caso contrario, la richiesta potrebbe non riuscire. Si consiglia di mantenere il prompt risolto ben al di sotto di questo limite per evitare interruzioni.
- Le azioni Esegui e Debug in Flow Builder non sono disponibili per la generazione batch.
Utilizzo
Questa azione è disponibile solo se sono vere le seguenti condizioni. In caso contrario, l'azione non riesce.
- Il Generatore di prompt è abilitato.
- L'utente che esegue il flusso dispone dell'autorizzazione Utente modello di prompt.
- Il modello di prompt specificato ha una versione attiva.
