Ti trovi qui:
Utilizzo del Generatore di prompt e metriche di feedback
Monitora l'adozione e la qualità di modelli di prompt Einstein specifici monitorando i conteggi di generazione e i commenti inviati dagli utenti.
Nome controllo
Utilizzo del Generatore di prompt Einstein e metriche di feedback
Panoramica sul controllo
Monitora l'adozione e la qualità di modelli di prompt Einstein specifici monitorando i conteggi di generazione e i commenti inviati dagli utenti.
Descrizione
Consente l'acquisizione di dati sulle prestazioni specifici del modello. Ciò include la frequenza di attivazione di un modello e i motivi dei commenti associati.
Configurazione consigliata
Da Imposta, nella casella Ricerca veloce, immettere Controllo Einstein e quindi selezionare "Impostazione di controllo Einstein, Analytics e monitoraggio". Attivare "Utilizzo del Generatore di prompt e metriche di feedback". Assegnare l'autorizzazione "Prompt Template Manager" agli amministratori per la revisione di queste metriche.
Impatto sulla sicurezza
Identifica la variazione delle prestazioni dell'intelligenza artificiale in cui i modelli di prompt possono iniziare a produrre risposte di qualità inferiore o rischiose a causa di modifiche nei dati CRM sottostanti.
Impatto sul business
Consente un'analisi del ROI basata sui dati dell'intelligenza artificiale generativa mostrando quali reparti stanno effettivamente utilizzando gli strumenti e quali modelli richiedono miglioramenti ingegneristici per essere utili.
Rischio per la sicurezza se non configurato
Le aziende non sono consapevoli dell'efficacia dei loro prompt. Risposte AI di bassa qualità o fuorvianti possono essere utilizzate dai dipendenti senza un loop di feedback formale per la correzione.
Scenari di minaccia
Allucinazioni non notate: Un modello genera costantemente dati errati, ma poiché le metriche non sono corrette, gli amministratori non sono consapevoli che gli utenti stanno correggendo (o ignorando) manualmente l'intelligenza artificiale.
Intervallo di punteggi CVSS stimato
Critico (9.0–10.0).
Considerazioni sull'impatto del rischio
Elevato impatto per le aziende che scalano l'intelligenza artificiale in team di grandi dimensioni in cui il controllo manuale a campione delle interazioni AI non è più possibile. Con un utilizzo più elevato, l'implementazione di un monitoraggio regolare di questi registri diventa un passaggio cruciale per ottenere il massimo vantaggio da questa funzione.
Rischio maggiore quando
Le fasi di revisione/feedback personalizzate per i prompt non sono configurate, lasciando agli amministratori dati limitati ma senza contesto sul motivo dell'errore della risposta.
Basso rischio quando
È stato implementato un processo per rivedere regolarmente le metriche di utilizzo dei modelli prompt e i modelli con prestazioni scadenti vengono perfezionati in modo iterativo in un Sandbox.
Considerazioni su Business e integrazione
Costi di stoccaggio: Questi dati consumano crediti Data Cloud. Latenza: La visualizzazione dei dati di controllo nei rapporti può richiedere fino a 24 ore.
Guida all'esame dello stato della sicurezza
Security Health Review verifica lo stato "Abilitato" delle metriche di utilizzo e feedback del Generatore di prompt e segnala le istanze in cui non vengono registrate le metriche di utilizzo del modello di prompt, impedendo alla società di migliorare la propria sicurezza AI.
Chi è interessato
Responsabili della governance dei dati, amministratori AI, responsabili dell'assistenza clienti e revisori legali/conformità.
