Vous êtes ici :
Choix du modèle IA adapté à votre modèle d'invite
Sélectionnez et testez des modèles d’IA pour les adapter à votre cas d’utilisation spécifique. Le choix du modèle approprié impacte considérablement la qualité de la réponse, le coût et les performances.
Éditions requises
| Disponible avec : Lightning Experience |
| Disponible avec : éditions Enterprise, Performance et Unlimited avec le complément Einstein pour Platform, ou Einstein ou Agentforce pour la vente ou Service, ou Agentforce Foundations |
Dans Générateur de répliques, vous sélectionnez le modèle IA qui pilote votre modèle d'invite. Le modèle le plus récent ou le plus puissant n'est pas toujours le meilleur choix. Ce qui importe, c'est les performances d'un modèle sur votre tâche spécifique avec vos données réelles.
Principes de sélection du modèle
La spécificité de la tâche est primordiale. Différents modèles excellent dans différentes tâches. Ce qui fonctionne pour générer des e-mails commerciaux créatifs peut ne pas fonctionner pour extraire des données structurées à partir de requêtes. Testez toujours les modèles en fonction de votre cas d'utilisation réel, pas en fonction de critères généraux.
Performance sur récence. Un modèle plus récent n'est pas automatiquement plus adapté à vos besoins. Ne choisissez pas par défaut le modèle le plus récent : mesurez les performances de votre tâche.
Compromis coût/précision. Les modèles plus chers produisent souvent (mais pas toujours) un rendement de meilleure qualité. Mappez le coût du modèle avec la visibilité de la réponse et l'impact métier.
| Scénario | Besoin de qualité | Choix du modèle |
|---|---|---|
| Résumés de requête internes lus par l'équipe de support | Assez bon | Modèle économique |
| E-mails destinés aux clients pour des comptes d'entreprise | Excellent | Modèle Premium |
| Génération de champs en masse pour des milliers d'enregistrements | Cohérente et rapide | Modèle intermédiaire |
| Résumé exécutif unique | Mieux possible | Modèle Premium |
La cohérence est essentielle pour la production. Un modèle qui produit d'excellentes réponses 80 % du temps et de mauvaises réponses 20 % du temps n'est pas prêt pour la production. Testez chaque modèle plusieurs fois avec les mêmes entrées pour mesurer la cohérence, pas seulement les performances maximales.
Test et sélection d'un modèle
Suivez ce processus pour faire des choix de modèle basés sur des preuves.
Étape 1 : Définissez des critères de réussite. Avant de tester des modèles, déterminez ce que « bon » signifie pour votre cas d'utilisation. Identifiez 2 à 3 critères mesurables. Par exemple, pour une invite d'e-mail commercial : personnalisation (l'e-mail référence des détails de compte spécifiques), ton (professionnel mais conversationnel, noté 1 à 5) et longueur (100 à 150 mots).
Étape 2 : Créer des données de test. Préparez 10 à 20 exemples représentatifs à partir d'utilisations réelles. Utilisez des enregistrements Salesforce réels, pas des données de test inventées. Les données réelles exposent des requêtes périphériques telles que des champs vides, des valeurs inhabituelles, un texte très long ou court et des caractères spéciaux. Incluez la variété entre les secteurs d'activité, les types de requête et la taille des comptes, et incluez les enregistrements typiques et les enregistrements qui ont posé problème.
Étape 3 : Testez chaque modèle. Exécutez votre modèle d'invite sur chaque modèle disponible en utilisant vos données de test. Utilisez exactement le même modèle d'invite et les mêmes données de test pour tous les modèles, modifiez uniquement la sélection du modèle.
Étape 4 : Mesurez les résultats. Score de chaque sortie par rapport à vos critères de réussite. Calculez des statistiques récapitulatives telles que le taux de réussite, le score moyen et le taux de conformité dans tous les enregistrements de test.
Étape 5 : Analysez les données. Comparez les modèles entre vos critères de réussite. Identifiez le modèle le plus performant sur les critères les plus importants pour votre cas d'utilisation.
Étape 6 : Vérifiez la cohérence. Pour les 2 à 3 principaux modèles, exécutez cinq fois la même invite contre 5 enregistrements de test (25 exécutions totales par modèle). Une variance élevée signifie que le modèle n'est pas fiable pour la production. Choisissez des modèles avec une faible variance.
Étape 7 : Choisissez en fonction des preuves. Sélectionnez le modèle le plus performant sur vos critères de réussite réels, pas sur les allégations de réputation ou marketing. Documentez votre choix, notamment les critères sur lesquels il a gagné, le résumé des résultats du test et la date du test. À mesure que de nouveaux modèles sont disponibles, vous pouvez les tester de nouveau et les comparer à votre référence.
Savoir quand changer de modèle
Votre choix de modèle n'est pas permanent. Envisagez de basculer dans ces situations.
- De nouveaux modèles sont disponibles. Lorsque Salesforce publie de nouveaux modèles, testez-les par rapport à votre référence en utilisant le même processus. N'imaginez pas que new vaut mieux.
- Votre cas d'utilisation change. Si les exigences changent, par exemple si vous avez besoin d'une prise en charge multilingue ou d'une sortie plus longue, testez de nouveau les modèles.
- Les performances se dégradent. Si vous remarquez une baisse de la qualité de sortie au fil du temps, testez des modèles alternatifs. Parfois, les mises à jour du modèle affectent les performances de cas d'utilisation spécifiques.
- Les considérations de coût changent. Si votre volume augmente de façon spectaculaire, un modèle plus économique peut s'avérer pertinent même si la qualité baisse légèrement. Déterminez si la différence de qualité est perceptible pour les utilisateurs et si elle affecte les résultats commerciaux.
Erreurs courantes de sélection de modèle
- Choisir sur la base de repères généraux. Les benchmarks mesurent les capacités générales. Votre tâche spécifique peut ne pas correspondre aux tâches de référence. Testez toujours avec votre invite et vos données réelles.
- Jamais de nouveau test. Les modèles changent, de nouveaux modèles sont publiés et votre cas d'utilisation évolue. Planifiez des examens de modèle trimestriels pour les invites critiques.
- Test avec des données artificielles. Les données de production sont désordonnées. Les enregistrements réels contiennent des champs vides, des requêtes périphériques et des valeurs inattendues. Testez toujours avec de vrais enregistrements Salesforce.
- Un test. Les tests uniques ne révèlent aucun problème de cohérence. Testez plusieurs fois avec les mêmes entrées pour mesurer la cohérence.
- Optimisation de la mauvaise métrique. Définissez d'abord des critères de réussite, puis testez ces critères spécifiques, pas pour la qualité générale ou la créativité.
Liste de contrôle de comparaison de modèles
Lors de la comparaison de modèles, évaluez les éléments ci-dessous.
- Précision : La sortie correspond-elle au contenu et au format attendus ?
- Cohérence : Les exécutions répétées produisent-elles une qualité similaire ?
- Conformité : La réponse répond-elle aux contraintes de taille de champ et de format ?
- Ton : Voice correspond-il à votre marque et à votre cas d'utilisation ?
- Exhaustivité : Tous les éléments obligatoires sont-ils inclus ?
- Vitesse : Le temps de réponse répond-il aux attentes des utilisateurs ?
- Coût : Le prix correspond-il à la valeur métier de ce cas d'utilisation ?
- Requêtes Edge : Comment gère-t-il les données inhabituelles ou minimales ?
