Ti trovi qui:
Protezione e protezione - Controllo del rilevamento rapido delle iniezioni
Rileva e mitiga gli attacchi di prompt injection in cui gli utenti tentano di sovrascrivere le istruzioni di sistema per costringere l'intelligenza artificiale a comportamenti non intenzionali o dannosi.
Nome controllo
Einstein Trust Layer - Rilevamento prompt di iniezione
Panoramica sul controllo
Rileva e mitiga gli attacchi di prompt injection in cui gli utenti tentano di sovrascrivere le istruzioni di sistema per costringere l'intelligenza artificiale a comportamenti non intenzionali o dannosi.
Descrizione
Monitora il journey di prompt per identificare gli schemi avversari, ad esempio i comandi "ignora istruzioni precedenti" o "sostituisci sistema", bloccando o segnalando la richiesta prima che raggiunga l'LLM.
Configurazione consigliata
Abilitare "Rilevamento iniezione prompt" nelle impostazioni di Einstein Trust Layer. Assicurarsi che l'itinerario di controllo Einstein sia abilitato per registrare gli eventi per i tentativi di iniezione.
Impatto sulla sicurezza
Impedisce che l'intelligenza artificiale venga riprogrammata da un utente per far trapelare dati interni, generare contenuti non consentiti o aggirare i limiti etici stabiliti nel modello di prompt.
Impatto sul business
Mantiene l'integrità dei processi aziendali basati sull'intelligenza artificiale e previene le interruzioni operative causate dagli utenti che manipolano la logica AI per ottenere vantaggi personali o dannosi.
Rischio per la sicurezza se non configurato
Il componente LLM può seguire istruzioni utente dannose sul prompt di sistema, causando la divulgazione non autorizzata dei dati, l'ingegneria sociale o l'esecuzione di flussi di lavoro non autorizzati.
Scenari di minaccia
Iniezione prompt: Un utente inganna l'intelligenza artificiale facendole eseguire azioni indesiderate, causando fughe di dati.
Intervallo di punteggi CVSS stimato
Critico (9.0–10.0).
Considerazioni sull'impatto del rischio
Rischio estremo per i flussi di lavoro agenti in cui l'intelligenza artificiale può eseguire azioni (ad esempio, aggiornare record o inviare email) in base ai prompt degli utenti.
Rischio maggiore quando
Utilizzo di LLM esterni/di terze parti senza l'intermediario Salesforce Trust Layer o quando i modelli di prompt non sono costruiti correttamente con il minimo contesto.
Basso rischio quando
Il rilevamento dell'iniezione del prompt è attivo, l'organizzazione utilizza modelli ospitati da Salesforce (con difesa incorporata) e viene applicato il privilegio minimo all'accesso ai dati dell'intelligenza artificiale.
Considerazioni su Business e integrazione
Un rilevamento rigoroso può occasionalmente contrassegnare prompt utente complessi e legittimi come contraddittori. Gli amministratori devono monitorare i dati dei feedback di controllo di Einstein Trust Layer per definire con maggiore precisione la riservatezza.
Guida all'esame dello stato della sicurezza
Security Health Review analizza l'impostazione di Einstein Trust Layer per verificare che sia abilitato il rilevamento rapido delle iniezioni.
Chi è interessato
Team di sicurezza, architetti AI, sviluppatori e utenti finali che interagiscono con agenti Generatori di prompt o Agentforce.
