Olet tässä:
Turvallisuus ja tietoturva - Kehotteen injektion tunnistus
Havaitsee ja lieventää kehotteiden hyökkäyksiä, joissa käyttäjät yrittävät korvata järjestelmäohjeita pakottaakseen tekoälyn toimimaan tahattomasti tai pahantahtoisesti.
Ohjaimen nimi
Einstein Trust Layer - Kehotteen injektion tunnistus
Ohjauksen yleiskatsaus
Havaitsee ja lieventää kehotteiden hyökkäyksiä, joissa käyttäjät yrittävät korvata järjestelmäohjeita pakottaakseen tekoälyn toimimaan tahattomasti tai pahantahtoisesti.
Kuvaus
Valvoo kehotteen matkaa tunnistaakseen vastakkaisia kuvioita, kuten "ohita aiemmat ohjeet" tai "järjestelmän korvaaminen" -komentoja, estääksesi tai merkitäksesi pyynnön ennen kuin se saavuttaa LLM:n.
Suositeltu kokoonpano
Ota Einstein Trust Layer -asetuksista käyttöön "Kehotteen injektion tunnistus". Varmista, että Einsteinin kirjausketju on käytössä injektiokyselyiden tapahtumien kirjaamiseksi lokiin.
Tietoturvan vaikutus
Estää käyttäjää ohjelmoimasta tekoälyä uudelleen vuotaakseen sisäistä dataa, luodakseen kiellettyä sisältöä tai ohittaakseen kehotteiden mallissa määritetyt eettiset rajat.
Liiketoiminnan vaikutus
Ylläpitää tekoälyyn perustuvien liiketoimintaprosessien eheyttä ja estää käyttökatkoksia, joita käyttäjät manipuloivat tekoälylogiikkaa henkilökohtaista tai pahantahtoista hyötyä varten.
Tietoturvariski, jos ei määritetty
LLM saattaa seurata haitallisia käyttäjien ohjeita järjestelmän kehotteen kautta, mikä johtaa valtuuttamattomaan tietojen paljastamiseen, sosiaaliseen suunnitteluun tai valtuuttamattomien työnkulkujen suorittamiseen.
Uhkien skenaariot
Kehotteen injektio: Käyttäjä sallii tekoälyn suorittaa epätoivottuja toimintoja, mikä aiheuttaa datavuodon.
Arvioitu CVSS-pistealue
Kriittinen (9.0–10.0).
Riskien vaikutuksissa huomioitavia asioita
Äärimmäinen riski agenteille, joissa tekoäly voi suorittaa toimintoja (esimerkiksi päivittää tietueita tai lähettää sähköposteja) käyttäjien kehotteiden perusteella.
Korkeampi riski, kun
Ulkoisten/kolmansien osapuolten LLM-ohjelmien käyttäminen ilman Salesforcen Trust Layer -välittäjää tai kun kehotteiden mallit on rakennettu heikosti ja niissä on vähemmän kontekstia.
Matalan riskin milloin
Kehotteiden injektioiden havaitseminen on aktiivinen, organisaatio käyttää Salesforcen isännöimiä malleja (joilla on sisäänrakennettu puolustus) ja tekoälyn datan käyttöoikeuksiin sovelletaan vähimmäisoikeutta.
Liiketoiminnassa ja integraatiossa huomioitavia asioita
Tiukka havaitseminen saattaa joskus merkitä monimutkaisia ja oikeutettuja käyttäjäkehotteita vastustaviksi. Pääkäyttäjien tulisi valvoa Einstein Trust Layer -todennuksen palautetta hienosäätääkseen luottamuksellisuutta.
Tietoturvan terveystarkastuksen ohjeet
Tietoturvan terveystarkastus skannaa Einsteinin Trust Layer -määritykset varmistaakseen, että kehote-injektion tunnistus on käytössä.
Kuka vaikuttaa
Suojaustiimit, tekoälyn arkkitehdit, kehittäjät ja loppukäyttäjät, jotka käyttävät Kehotteiden rakentaja tai Agentforce.
