Optimisation et affinement des modèles d'invite

Cycle d'itération en sept étapes

Étape 1 : Écrire. Rédigez votre modèle d'invite initial. Ne visez pas la perfection, mais « assez bon pour tester ». Commencez par une définition claire des tâches, des instructions de base (5 à 7 points clés), des champs de fusion essentiels, des exigences de format simples et une ou deux contraintes clés.

Étape 2 : Tester. Exécutez votre modèle d'invite avec 5 à 10 enregistrements Salesforce réels divers. Incluez des requêtes typiques, des requêtes périphériques (valeurs inhabituelles, données minimales, données maximales) et des enregistrements qui ont posé problème dans le passé. Enregistrez toutes les réponses pour évaluation et documentez les erreurs ou les échecs.

Étape 3 : Évaluez. Comparez les résultats à vos critères de réussite en utilisant une rubrique d'évaluation. Score de chaque réponse : remplit-il chaque critère, quel est le taux de réussite et les échecs sont-ils cohérents ou aléatoires ?

Étape 4 : Identifier les problèmes. Analysez les échecs et les modèles. Les catégories de problèmes courantes comprennent :

• Informations manquantes : La réponse n'inclut pas les éléments obligatoires, car les instructions ne les exigeaient pas explicitement.
• Ton incorrect : La réponse est trop formelle, trop désinvolte ou trop robotisée, car les instructions de ton sont vagues ou manquantes.
• Longueur incorrecte : La réponse est trop longue ou trop courte, car la contrainte de longueur est manquante ou ignorée.
• Mauvaise structure : La réponse ne respecte pas le format attendu, car les spécifications de format ne sont pas claires.
• Contenu inexact : La réponse contient des informations incorrectes, car les champs de fusion sont incorrects ou le contexte est insuffisant.
• Résultats incohérents : La qualité varie considérablement d'un cas à l'autre, car les instructions ne traitent pas les requêtes périphériques.

Étape 5 : Affiner. Mettez à jour votre modèle d'invite en fonction de vos connaissances.

• Si des informations sont manquantes, ajoutez des instructions explicites répertoriant les éléments requis.
• Si le ton est incorrect, ajoutez un guide de ton spécifique avec des exemples.
• Si la longueur est incorrecte, ajoutez une contrainte de longueur explicite avec un nombre de mots ou de caractères.
• Si la structure est incorrecte, ajoutez des spécifications de format détaillées.
• Si le contenu est imprécis, ajoutez un contexte ou corrigez les champs de fusion.
• Si les résultats sont incohérents, ajoutez un traitement explicite pour les requêtes périphériques telles que les champs vides.

Étape 6 : Renouvelez le test. Exécutez l'invite affinée sur les mêmes données de test que vous avez utilisées auparavant. Déterminez si le taux de réussite a augmenté, si les échecs précédents sont maintenant passés et si la résolution d'un problème en a créé de nouveaux. Continuez à itérer jusqu'à ce que vous atteigniez votre taux de réussite cible, généralement de 85 à 95 % pour une utilisation en production.

Étape 7 : Déployer. Lorsque votre invite produit régulièrement des réponses de qualité, déployez-la en production.

Meilleures pratiques d'itération

• Conservez l'historique des versions. Enregistrez chaque version de votre invite avec des notes sur les modifications et les raisons, ainsi que le taux de réussite de cette version.
• Utilisez les mêmes données de test entre les versions. Vous pouvez ainsi comparer directement les améliorations.
• Effectuez une modification à la fois si possible. Si vous modifiez trois éléments et que la qualité s'améliore, vous ne savez pas quel changement a aidé. Les itérations précoces peuvent inclure plusieurs correctifs par lot, mais les itérations ultérieures doivent apporter des modifications ciblées.
• Documentez ce qui n'a pas marché. Notez les approches que vous avez essayées et qui ont aggravé les choses. Cela permet de gagner du temps plus tard.
• Partagez les apprentissages avec votre équipe. Ce que vous apprenez en optimisant une invite s'applique souvent à d'autres.

Erreurs d'itération courantes

• Abandonner trop tôt. Attendez-vous à 3 à 5 itérations avant d'atteindre la qualité de production. Temps budgétaire pour ce processus.
• Pas de test avec des données réelles. Les données de production sont désordonnées. Utilisez toujours des enregistrements Salesforce réels, pas des cas tests inventés.
• Modifier trop de choses à la fois. Dans les prochaines itérations, apportez des modifications ciblées pour identifier les éléments qui fonctionnent.
• Ignorant les requêtes périphériques. Insérez des requêtes edge dans vos données de test et gérez-les explicitement dans vos instructions.
• Aucun critère de réussite. Définissez 2 à 3 critères de réussite spécifiques et mesurables avant de commencer à itérer. Sans objectifs clairs, l'itération est sans but.

Liste de contrôle d'optimisation

Avant d'envisager un modèle d'invite prêt pour la production, vérifiez les éléments ci-dessous.

• Testé avec au moins 15 à 20 enregistrements Salesforce réels
• Taux de réussite atteint l'objectif pour ce cas d'utilisation (généralement 85 à 95 %)
• Les requêtes Edge sont traitées correctement
• Tous les critères de réussite sont remplis de façon cohérente
• L'historique des versions est documenté avec des taux de réussite et des notes de modification
• Les améliorations montrent une amélioration mesurable par rapport à la version initiale
• Les problèmes restants sont rares et à faible impact
• L'équipe a examiné et approuvé