Você está aqui:
Segurança e segurança – Detecção de injeção rápida
Detecta e mitiga ataques de injeção de prompt em que os usuários tentam substituir instruções do sistema para forçar a IA a realizar comportamentos indesejados ou mal-intencionados.
Nome do controle
Camada do Einstein Trust - Detecção de injeção de prompt
Visão geral de controle
Detecta e mitiga ataques de injeção de prompt em que os usuários tentam substituir instruções do sistema para forçar a IA a realizar comportamentos indesejados ou mal-intencionados.
Descrição
Monitora a jornada de prompt para identificar padrões adversários, como comandos "ignorar instruções anteriores" ou "substituir sistema", bloqueando ou sinalizando a solicitação antes de ela chegar ao LLM.
Configuração recomendada
Habilite "Detecção de injeção de prompt" nas configurações da Camada de Trust do Einstein. Certifique-se de que a Trilha de auditoria do Einstein esteja habilitada para registrar eventos para tentativas de injeção.
Impacto na segurança
Evita que a IA seja reprogramada por um usuário para vazar dados internos, gerar conteúdo proibido ou contornar os limites éticos estabelecidos no Modelo de prompt.
Impacto nos negócios
Mantenha a integridade dos processos de negócios conduzidos por IA e evita interrupções operacionais causadas por usuários que manipulam a lógica de IA para ganho pessoal ou mal-intencionado.
Risco de segurança, se não configurado
O LLM pode seguir instruções do usuário mal-intencionado por meio do Aviso do sistema, levando a divulgação de dados não autorizada, engenharia social ou execução de fluxos de trabalho não autorizados.
Cenários de ameaça
Injeção de prompt: Um usuário induz a IA a realizar ações indesejadas, levando ao vazamento de dados.
Intervalo de pontuação de CVSS estimado
Crítico (9.0 a 10.0).
Considerações sobre impacto de risco
Risco extremo para fluxos de trabalho agentes em que a IA pode executar ações (por exemplo, atualizar registros ou enviar emails) com base em avisos do usuário.
Risco maior quando
Usar LLMs externos/de terceiros sem o intermediário Camada de Trust do Salesforce ou quando os Modelos de prompt estiverem mal construídos com menos contexto.
Baixo risco quando
A detecção de injeção de prompt está ativa, a organização usa modelos hospedados no Salesforce (que têm defesa integrada) e o Privilégio mínimo é aplicado ao acesso a dados da IA.
Considerações de negócios e integração
A detecção rígida pode, ocasionalmente, sinalizar avisos complexos e legítimos do usuário como adversários. Os administradores devem monitorar os dados de feedback de auditoria da Camada de Trust do Einstein para ajustar a confidencialidade.
Diretriz de revisão de saúde de segurança
A Análise de integridade de segurança verifica a Configuração da Camada de Trust do Einstein para confirmar se a detecção de injeção de prompt está habilitada.
Quem é afetado
Equipes de segurança, arquitetos de IA, desenvolvedores e usuários finais que interagem com Criadores de prompts ou agentes Agentforce.
