Principale action de flux : Actions de modèle d'invite
Crée des réponses basées sur la réponse du grand modèle de langage (LLM) pour le modèle d'invite et les entrées spécifiés.
Éditions requises
| Disponible avec : Lightning Experience |
| Afficher les éditions prises en charge. |
Dans Flow Builder, ajoutez un élément Action vers votre flux. Dans la fenêtre Nouvelle action, sélectionnez la catégorie Modèle d'invite ou Modèle d'invite (génération par lot), puis sélectionnez le nom du modèle d'invite à utiliser. La Génération individuelle renvoie les résultats individuellement lorsqu'ils sont terminés, tandis que la Génération par lot effectue toutes les requêtes avant de renvoyer les résultats pour éviter d'atteindre les limites en taux de LLM. La génération par lot prend en charge 10 000 générations par jour. Si le modèle prend en charge le traitement par lot, la limite est de 50 000 par jour. Recherchez Lot pris en charge : Oui sous Limites dans la liste déroulante Modèles du Générateur de répliques. La durée réelle de réalisation dépend du fournisseur du modèle et peut varier.
L'action Génération par lot a deux parcours : Terminé et Expiré. Ajoutez des éléments au parcours Terminé pour utiliser la réponse générée. Ajoutez des éléments au chemin Expiré pour consigner les erreurs et les interruptions. La durée d'expiration doit être définie sur un jour. Cliquez sur l'action Modèle d'invite (génération par lot) pour mettre à jour Définir la durée d'expiration si nécessaire. Une fois démarrée, la tâche commence dans les deux heures qui suivent.
Le nom d'API de chaque action est précédé de generatePromptResponse ou generatePromptResponseBatch.
Définition des valeurs d'entrée
Les valeurs d'entrée sont basées sur les variables d'entrée spécifiées pour le modèle d'invite.
Stockage des valeurs de sortie
| Champ | Description |
|---|---|
| Réponse rapide | La réponse d'invite générée par l'action basée sur le modèle d'invite et l'entrée spécifiés. |
Considérations relatives à l'utilisation de la génération par lot de modèles d'invite
- Utilisez uniquement les types de modèle Génération par lot avec un flux déclenché par une planification et un flux déclenché par un enregistrement, car ils sont conçus pour gérer des lots d'éléments.
- Avant d'exécuter une tâche de génération par lot, définissez un Utilisateur de workflow par défaut dans Configuration > Paramètres d'automatisation des processus > Paramètres d'automatisation des processus, car la tâche par lot sera exécutée dans le contexte de cet utilisateur. Pour plus d'informations, consultez Paramètres d'automatisation des processus.
- Limitez la taille des requêtes à 10 000 éléments par jour lors de l'utilisation de types de modèle Flux déclenché par une planification ou un enregistrement. Si le modèle prend en charge le traitement par lot, la limite est de 50 000 par jour. Recherchez Lot pris en charge : Oui sous Limites dans la liste déroulante Modèles du Générateur de répliques. Si vos requêtes dépassent la limite quotidienne, elles sont placées en file d'attente jusqu'à la réinitialisation de la limite.
- Limitez la taille des requêtes à 1000 éléments par heure en utilisant WebSearch Retrievers.
- La taille de l'invite résolue ne doit pas dépasser 131 072 caractères. Sinon, la requête risque d'échouer. Nous recommandons de garder l'invite résolue bien en dessous de cette limite afin d'éviter les interruptions.
- Les actions Exécuter et Déboguer dans Flow Builder ne sont pas disponibles pour la Génération par lot.
Utilisation
Cette action est disponible uniquement si les valeurs suivantes sont vraies. Sinon, l'action échoue.
- Générateur de répliques est activé.
- L'utilisateur qui exécute le flux dispose de l'autorisation Utilisateur du modèle d'invite.
- Le modèle d'invite spécifié a une version active.
