Traitement par lot de modèles d'invite

Vue d’ensemble

Le traitement par lot génère un grand nombre de réponses d'invite de façon asynchrone dans une seule requête. Cette approche permet d'éviter d'atteindre les limites en taux de LLM et de gérer efficacement la génération de contenus à haut volume.

Le système met votre tâche par lot en file d'attente, traite tous les éléments et stocke les résultats. Vous pouvez suivre la progression de la tâche et récupérer les réponses terminées lorsqu'elles sont prêtes. Le temps de réalisation réel dépend du fournisseur du modèle et peut varier.

Les cas d'utilisation courants comprennent :

• Création de campagnes par e-mail personnalisées pour des milliers de clients.
• Générer des descriptions de produits à partir des données du catalogue.
• Résumer les volumes importants de notes de requête ou de commentaires clients.
• Traduction de contenus à travers plusieurs enregistrements.
• Déclenchement de la génération de contenus en masse sur une planification ou par des changements d'enregistrement.

Options d'implémentation

Salesforce fournit deux méthodes principales pour implémenter le traitement par lot :

Flux

Cette approche fonctionne dans la plupart des cas d'utilisation et est préférable pour les administrateurs Salesforce qui élaborent des solutions sans code. Utilisez l'action Modèle d'invite (génération par lot) dans un flux déclenché par une planification ou un enregistrement pour créer des tâches par lot automatiquement exécutées. Ces flux comprennent des parcours Terminé et Expiré, ce qui vous permet de gérer différemment les scénarios de réalisation réussie et d'expiration.

Limites :

• Généralement, les tâches par lot de flux commencent à être traitées dans les deux heures suivant leur soumission.
• Jusqu'à 10 000 générations par jour pour les modèles standard.
• Si vous utilisez des modèles qui prennent en charge le traitement par lot natif, jusqu'à 50 000 générations par jour.
• Jusqu'à 1000 éléments par heure lors de l'utilisation de WebSearch Retrievers.

Apex

Cette approche offre une flexibilité maximale pour l'intégration personnalisée et l'automatisation. Utilisez les objets AiJobRun et AiJobRunItem pour créer et gérer des tâches par lot par programmation. Apex est recommandé lorsque vous souhaitez:

• Élaborez une interface utilisateur personnalisée. Par exemple : un bouton qui démarre une tâche ou un tableau de bord répertoriant les tâches par lot.
• Contrôlez dynamiquement la taille du lot (accumulez les éléments jusqu'à un seuil de décompte ou de temps, puis commencez).
• Déclenchez à partir d'événements externes qui ne sont pas déclenchés par un enregistrement ou basés sur une planification.

Limites :

• Jusqu'à 1000 AiJobRunItems pour chaque AiJobRun.
• Si vous utilisez des modèles qui prennent en charge le traitement par lot natif, la limite est de 10 000 AiJobRunItems pour chaque AiJobRun.
• Jusqu'à 1000 éléments par heure lors de l'utilisation de WebSearch Retrievers.
• Jusqu'à 5 objets AiJobRun en 24 heures. Si vos requêtes dépassent la limite quotidienne, elles sont placées en file d'attente jusqu'à la réinitialisation de la limite.

Meilleures pratiques

Sélectionnez le modèle approprié :

• Utilisez un modèle étiqueté Lot pris en charge : Oui dans Générateur de répliques pour accélérer le traitement.
• Évitez les modèles miniatures par lot, car ils sont beaucoup plus lents.

Dimensionnez vos lots :

• Plus grand, c'est mieux. Le nombre de tâches est le facteur limitant, pas les éléments de ces tâches. Les lots de 200 et de 2000 se terminent à peu près en même temps.
• Un ou plusieurs éléments échoués ne bloquent pas le reste du lot.

Sélectionnez l'implémentation appropriée : Flux vs Apex :

• Utilisez Flux, sauf si vous avez besoin d'une interface utilisateur personnalisée pour démarrer des tâches, d'un dimensionnement par lot dynamique ou de déclencheurs non liés à un enregistrement et non liés à une planification.

Concevez votre flux :

• Une seule action par lot par flux. Les actions par lot enchaînées sont mises en file d'attente et augmentent considérablement l'exécution.
• Combinez les invites dans un modèle unique si possible.
• Définissez l'expiration sur 1 jour.

Surveillez la progression des tâches :

• Interrogez AiJobRun et AiJobRunItem pour le statut, le nombre d'éléments, les erreurs et les réponses.
• Abonnez-vous à AiJobRunStatusEvent pour des workflows pilotés par l'événement.

Limitations et considérations

Prérequis

• Le modèle d'invite spécifié doit avoir une version active.
• Pour Flux : Un utilisateur de workflow par défaut doit être configuré dans Paramètres d'automatisation des processus.

Comportement de traitement

• Les tâches sont traitées par ordre chronologique basé sur la date de création.
• Les tâches créées à quelques secondes d'intervalle peuvent ne pas suivre une séquence stricte.
• Une fois le traitement commencé, les valeurs d'entrée et certains champs deviennent immuables.
• Les changements de statut des tâches sont gérés par le système et ne peuvent pas être modifiés manuellement.
• Le temps de réalisation dépend du fournisseur du modèle et peut varier.

Considérations relatives à la plate-forme

• Le traitement par lot est asynchrone et les résultats ne sont pas immédiats.
• Définissez les durées d'expiration appropriées. Un jour est recommandé pour les tâches par lot de flux.
• Surveillez le statut des tâches via des événements de plate-forme ou en interrogeant des enregistrements de tâche.
• Planifiez le temps de traitement lors de la conception de workflows temporels.
• Envisagez la gestion de secours pour les éléments échoués dans un lot.