Vous êtes ici :
Utilisation du Générateur de répliques et contrôle des métriques de commentaire
Surveille l'adoption et la qualité de modèles d'invite Einstein spécifiques en suivant le nombre de générations et les commentaires soumis par les utilisateurs.
Nom du contrôle
Utilisation du Générateur de répliques Einstein et métriques de commentaires
Vue d'ensemble du contrôle
Surveille l'adoption et la qualité de modèles d'invite Einstein spécifiques en suivant le nombre de générations et les commentaires soumis par les utilisateurs.
Description
Active la capture de données de performance spécifiques au modèle. Cela inclut la fréquence de déclenchement d'un modèle et les motifs de commentaires associés.
Configuration recommandée
Dans Configuration, saisissez Audit Einstein dans la case Recherche rapide, puis sélectionnez « Configuration d'Einstein Audit, Analytics et Monitoring ». Activez « Métriques d'utilisation et de commentaire du Générateur de répliques ». Attribuez l'autorisation « Gestionnaire de modèle d'invite » aux administrateurs pour examiner ces métriques.
Impact sur la sécurité
Identifie les variations des performances IA dans lesquelles les modèles d'invite peuvent commencer à produire des réponses de qualité inférieure ou risquées en raison de modifications des données CRM sous-jacentes.
Impact commercial
Permet une analyse du retour sur investissement pilotée par les données de l’IA générative en montrant quels services utilisent réellement les outils et quels modèles nécessitent des améliorations techniques pour être utiles.
Risque de sécurité s'il n'est pas configuré
Les entreprises ne sont toujours pas conscientes de l'efficacité de leurs invites. Les réponses IA de mauvaise qualité ou trompeuses peuvent être utilisées par les employés sans boucle de rétroaction formelle pour correction.
Scénarios de menace
Hallucinations inaperçues : Un modèle génère régulièrement des données incorrectes, mais comme les métriques sont désactivées, les administrateurs ignorent que les utilisateurs corrigent manuellement (ou ignorent) l'IA.
Plage de score CVSS estimée
Critique (9,0 à 10,0).
Considérations relatives à l'impact sur le risque
Impact élevé pour les entreprises qui font évoluer l’IA entre les grandes équipes où la vérification manuelle des interactions IA n’est plus possible. Avec une utilisation accrue, la mise en œuvre d'une surveillance régulière de ces journaux devient une étape cruciale pour bénéficier pleinement de cette fonctionnalité.
Risque plus élevé quand
Les étapes personnalisées de révision/rétroaction des invites ne sont pas configurées, ce qui laisse les administrateurs avec des données limitées, mais sans contexte indiquant les raisons de l'échec de la réponse.
Risque faible quand
Un processus a été implémenté pour examiner régulièrement les métriques d'utilisation des modèles d'invite et les modèles peu performants sont itérativement affinés dans une organisation sandbox.
Considérations relatives à l'entreprise et à l'intégration
Coûts de stockage : Ces données consomment des crédits Data Cloud. Latence : L'affichage des données d'audit dans les rapports peut prendre jusqu'à 24 heures.
Guide d'examen sanitaire de sécurité
Security Health Review vérifie le statut « Activé » des Métriques d'utilisation et de rétroaction du Générateur de répliques et signale les instances dans lesquelles les métriques d'utilisation de modèles d'invite ne sont pas consignées, empêchant ainsi l'entreprise d'améliorer sa sécurité en IA.
Qui est impacté
Agents de gouvernance des données, administrateurs IA, responsables du service client et auditeurs juridiques/de conformité.
