Création d'évaluations personnalisées

Qu’est-ce qu’un juge LLM ?

Un LLM judge (ou LLM-as-judge) est quand un grand modèle de langage (LLM) évalue les sorties d'un autre. Un juge LLM reçoit une invite qui définit la tâche et décrit les critères d'évaluation tels que l'exactitude factuelle, la pertinence, la cohérence et la fidélité à la source. Avec ces ressources et lignes directrices, le juge du grand livre détermine la réponse attendue et la compare à la réponse de l'agent. Sur la base de cette comparaison, le juge génère des scores, des classements ou des commentaires écrits. Le modèle LLM en tant que juge sert d'outil d'évaluation évolutif, automatisé et objectif pour des tâches telles que les résumés de score ou le classement des réponses. Nous avons soigneusement conçu nos invites LLM-as-judge pour vous donner les résultats de test les plus précis et les plus utiles.

• Déterminer quel modèle IA sert de juge
• Ajouter des ressources Salesforce
• Enregistrer plusieurs versions de modèle
• Définir le score de seuil pour vos critères de réussite