U bent hier:
Veiligheid en beveiliging - Detectie van directe injectie
Detecteert en verzacht prompte injectieaanvallen waarbij gebruikers proberen systeeminstructies te overschrijven om de AI tot onbedoeld of kwaadwillig gedrag te dwingen.
Controlenaam
Einstein Trust Layer - Detectie van directe injectie
Overzicht van besturingselementen
Detecteert en verzacht prompte injectieaanvallen waarbij gebruikers proberen systeeminstructies te overschrijven om de AI tot onbedoeld of kwaadwillig gedrag te dwingen.
Beschrijving
Bewaakt de prompt journey om vijandige patronen te identificeren, zoals "vorige instructies negeren" of "systeemoverschrijving"-opdrachten, waarbij het verzoek wordt geblokkeerd of gesignaleerd voordat het de LLM bereikt.
Aanbevolen configuratie
Schakel "Prompt Injection Detection" in de Einstein Trust Layer-instellingen in. Zorg ervoor dat Einstein Audit Trail is ingeschakeld om events voor injectiepogingen vast te leggen.
Impact op beveiliging
Voorkomt dat de AI opnieuw wordt geprogrammeerd door een gebruiker om interne gegevens te lekken, verboden inhoud te genereren of de ethische grenzen te omzeilen die zijn vastgesteld in de aanwijzingssjabloon.
Business Impact
Handhaaft de integriteit van AI-gestuurde bedrijfsprocessen en voorkomt operationele onderbrekingen die worden veroorzaakt door gebruikers die AI-logica manipuleren voor persoonlijk of kwaadwillig gewin.
Beveiligingsrisico indien niet geconfigureerd
De LLM kan instructies van kwaadwillende gebruikers volgen via de systeemaanwijzing, wat kan leiden tot ongeoorloofde openbaarmaking van gegevens, social engineering of de uitvoering van ongeoorloofde werkstromen.
Dreigingsscenario's
Promptinjectie: Een gebruiker laat de AI ongewenste acties uitvoeren, wat leidt tot gegevenslekkage.
Geschatte CVSS-scorebereik
Kritiek (9,0–10,0).
Overwegingen bij risico-impact
Extreem risico voor agentische werkstromen waarbij de AI acties kan uitvoeren (bijvoorbeeld records bijwerken of e-mailberichten verzenden) op basis van gebruikersaanwijzingen.
Hoger risico wanneer
Externe/externe LLM's gebruiken zonder de Salesforce Trust Layer-tussenpersoon of wanneer aanwijzingssjablonen slecht zijn samengesteld met de minste context.
Laag risico wanneer
Detectie van promptinjectie is actief, de organisatie gebruikt door Salesforce gehoste modellen (die ingebouwde verdediging hebben) en Minste machtiging wordt toegepast op de gegevenstoegang van de AI.
Overwegingen bij bedrijf en integratie
Strikte detectie kan complexe, legitieme gebruikersaanwijzingen soms signaleren als vijandig. Beheerders moeten de feedbackgegevens van de Einstein Trust Layer-audit bewaken om de gevoeligheid te verfijnen.
Begeleiding bij beoordeling van beveiligingstoestand
Beoordeling van beveiligingstoestand scant de set-up van Einstein Trust Layer om te bevestigen dat prompte injectiedetectie is ingeschakeld.
Wie wordt beïnvloed
Beveiligingsteams, AI-architecten, ontwikkelaars en eindgebruikers die interactie hebben met Aanwijzingensamensteller of Agentforce agenten.
