Você está aqui:
Uso do Criador de prompts e métricas de feedback
Monitora a adoção e a qualidade de modelos de prompts específicos do Einstein acompanhando contagens de geração e feedback enviado pelos usuários.
Nome do controle
Uso do Criador de prompts do Einstein e métricas de feedback
Visão geral de controle
Monitora a adoção e a qualidade de modelos de prompts específicos do Einstein acompanhando contagens de geração e feedback enviado pelos usuários.
Descrição
Habilita a captura de dados de desempenho específicos do modelo. Isso inclui a frequência com que um modelo é acionado e os motivos de feedback associados.
Configuração recomendada
Em Configuração, na caixa Busca rápida, insira Auditoria do Einstein e selecione "Configuração de auditoria, análise e monitoramento do Einstein". Ative "Metricas de uso e feedback do Criador de prompts". Atribua a permissão "Gerenciador de modelo de prompts" aos administradores para revisar essas métricas.
Impacto na segurança
Identifica a variação no desempenho da IA em que os modelos de prompts podem começar a produzir respostas de menor qualidade ou arriscadas devido a alterações nos dados de CRM subjacentes.
Impacto nos negócios
Habilita uma análise de ROI orientada por dados da IA generativa mostrando quais departamentos estão realmente usando as ferramentas e quais modelos exigem melhorias de engenharia para serem úteis.
Risco de segurança, se não configurado
As empresas continuam sem saber da eficácia de seus avisos. Respostas de IA de baixa qualidade ou enganadoras podem ser usadas por funcionários sem um loop de feedback formal para correção.
Cenários de ameaça
Alucinações não observadas: Um modelo gera constantemente dados incorretos, mas como as métricas estão desativadas, os administradores não sabem que os usuários estão corrigindo (ou ignorando) manualmente a IA.
Intervalo de pontuação de CVSS estimado
Crítico (9.0 a 10.0).
Considerações sobre impacto de risco
Alto impacto para empresas que dimensionam a IA em grandes equipes em que a verificação pontual manual de interações de IA não é mais viável. Com maior uso, a implementação do monitoramento regular desses registros se torna uma etapa crucial para obter todo o benefício desse recurso.
Risco maior quando
As etapas de revisão/feedback personalizadas para os avisos não são configuradas, deixando os administradores com dados limitados, mas sem contexto sobre por que a resposta falhou.
Baixo risco quando
Um processo foi implementado para revisar as métricas de uso de modelo de prompt regularmente e modelos com desempenho baixo são refinados iterativamente em um sandbox.
Considerações de negócios e integração
Custos de armazenamento: Esses dados consomem créditos do Data Cloud. Latência: Os dados de auditoria podem levar até 24 horas para aparecerem nos relatórios.
Diretriz de revisão de saúde de segurança
A Análise de integridade da segurança verifica o status "Habilitado" das Métricas de uso e feedback do Criador de prompts e sinaliza as instâncias em que as métricas de uso do modelo de prompts não estão registradas, impedindo que a empresa melhore sua segurança de IA.
Quem é afetado
Agentes de governança de dados, administradores de IA, gerentes de atendimento ao cliente e auditores legais/de conformidade.
