Sisällön turvallisuus ja tietoturva
Einstein Trust Layer sisältää joukon käytäntöjä, jotka auttavat havaitsemaan mahdollisesti haitallista sisältöä ja haitallisia hyökkäyksiä, jotka yrittävät vaarantaa tekoälysovellusten turvallisuuden.
Vaaditut versiot
| Käytettävissä: Enterprise-, Performance- ja Rajoittamaton määrä Edition-versioita, joissa on Einstein for Sales-, Einstein for Platform-, Einstein for Service-, Einstein 1 Service- tai Einstein GPT Service -lisäosa. Jos haluat ostaa lisäosia, ota yhteyttä Salesforce-asiakkuuspäällikköösi. |
Haitallinen sisältö
Haitallinen sisältö viittaa tietoihin, jotka voivat vaikuttaa haitallisesti yksittäisiin henkilöihin tai yhteisöihin. Generoivien tekoälymallien kontekstissa haitallinen sisältö viittaa kehotteissa tai vastauksissa olevaan dataan, joka vaikuttaa negatiivisesti mielenterveyteen, käyttäytymiseen tai hyvinvointiin. Haitallinen sisältö voi sisältää myrkyllistä materiaalia, kuten vihaa ja väkivaltaa, tai epäoikeudenmukaista tai syrjivää sisältöä.
Suuri kielimalli (LLM) voi luoda vahingossa haitallista sisältöä useista syistä:
- Kehotteen vaikutus: Kehotteen kieli vaikuttaa suoraan mallin tulokseen. Jos kehote sisältää esimerkiksi loukkaavia tai haitallisia lauseita, malli voi lisätä vastaukseensa vastaavaa kieltä.
- Koulutusdata: LLM:t oppivat valtavasta datamäärästä, joka voi sisältää puolueellista tai myrkyllistä sisältöä. Jos koulutusdata sisältää haitallista kieltä, malli voi toistaa sen vahingossa.
- Asiayhteydestä riippuvat kuviot: LLM:t luovat vastauksia datan tilastollisten kuvioiden perusteella. Jos haitallista kieltä esiintyy usein samankaltaisissa konteksteissa, malli voi replikoida kyseiset kuviot.
- hienosäätämällä ja siirtämällä oppimista: Tiettyjen tehtävien hienosäätämät LLM-ohjelmat voivat aiheuttaa vääristymistä. Oppimisen siirtäminen ei-liittyvästä toimialueesta voi myös vaikuttaa sisällön luomiseen.
Einstein Trust Layer käyttää koneoppimismalleja tunnistaakseen haitallista sisältöä tekoälysovelluksissa ja -ominaisuuksissa.
Kehotteiden injektiot
Kehotteiden injektiot ovat yrityksiä saada LLM tekemään jotain, jota se ei ole suunniteltu tekemään. Hakkerit voivat luoda kehotteita, jotka yrittävät korvata järjestelmäkäytäntöjä tai manipuloida LLM:ää tekemään jotain tahattomaksi.
Salesforce tarjoaa kehotteiden puolustusmekanismeja, jotka auttavat vähentämään haitallisten hyökkäysten aiheuttamia riskejä.
Kehotteiden injektioiden havaitseminen ja järjestelmäkäytännöt tarjoavat syvällisen lähestymistavan kehotteiden puolustamiseen. Kehotteiden ruiskutussuojausta sovelletaan yhdenmukaisesti kaikkiin käyttäjien kehotteisiin, mikä parantaa tietoturvaa Agentforcessa ja upotetuissa tekoälysovelluksissa.
- Meillä on sisäänrakennetut järjestelmäkäytännöt, jotka auttavat rajoittamaan hallusinaatioita ja vähentämään LLM:n tahattomien tai haitallisten tulosten todennäköisyyttä.
- Kehotteiden injektioiden havaitsemista käytetään haitallisten hyökkäysten havaitsemiseen, jotka yrittävät manipuloida LLM:ää tekemään jotain, jota se ei ollut suunniteltu tekemään.
