Usted está aquí:
Configuración de Auditoría, Analytics y Monitoreo de Einstein
Centraliza el registro de solicitudes de IA generativa, respuestas LLM y comentarios de usuarios en Data Cloud para el cumplimiento, la auditoría y la optimización de modelos.
Nombre de control
Capa Einstein Trust - Datos de auditoría y comentarios
Descripción general de control
Centraliza el registro de solicitudes de IA generativa, respuestas LLM y comentarios de usuarios en Data Cloud para el cumplimiento, la auditoría y la optimización de modelos.
Descripción
Activa el almacenamiento permanente de señales de Trust Layer y los comentarios de los usuarios, moviendo datos desde la memoria transitoria a objetos de modelo de datos persistentes (DMO); permitiendo a los administradores monitorear el desempeño y la precisión de los agentes.
Configuración recomendada
Vaya a Configuración de Auditoría, Analytics y Monitoreo de Einstein. Active "Recopilar y almacenar datos de auditoría de IA generativa Einstein" y "Capturar comentarios de usuarios". Asegúrese de que Data Cloud está completamente aprovisionado para alojar estas transmisiones de datos.
Impacto de seguridad
Proporciona el seguimiento forense necesario para investigar la precisión, el desempeño, las fugas de datos o las interacciones tóxicas, para asegurarse de que la compañía cumple sus requisitos basándose en sus casos de uso.
Repercusión de negocio
Crea un repositorio central de registros para sus agentes donde se utilizan los comentarios y los datos de usuarios reales para refinar plantillas de solicitudes e instrucciones de agentes.
Riesgo de seguridad si no está configurado
Si un agente proporciona consejos incorrectos o dañinos, no hay un registro permanente para diagnosticar la causa o probar lo que se dijo.
Escenarios de amenazas
Déficit de responsabilidad: Ausencia de registros para verificar la interacción en caso de conflictos. Puntos ciegos: El sesgo sistemático en respuestas de IA pasa desapercibido durante meses.
Intervalo de puntuaje de CVSS estimado
Crítico (9,0 a 10,0).
Consideraciones de impacto de riesgo
La activación de esta configuración captura los datos de auditoría y comentarios relevantes. Sin embargo, los clientes deben implementar controles de alerta y monitoreo apropiados para asegurarse de que se reportan anomalías relevantes y se solucionan los falsos positivos para reducir el ruido.
Mayor riesgo cuando
La recopilación de datos de auditoría no está activada para ahorrar en créditos de Data Cloud, o cuando se recopilan comentarios pero nunca son revisados por una persona al tanto.
Bajo riesgo cuando
Los clientes implementaron procedimientos de registro de auditoría personalizados donde se registran interacciones de agentes para la inyección rápida, la detección de toxicidad y otras funciones para monitorear el desempeño y la precisión.
Consideraciones de negocio e integración
Costos de almacenamiento: Estos datos consumen créditos de Data Cloud. Latencia: Los datos de auditoría pueden tardar hasta 24 horas en aparecer en reportes.
Directrices de revisión del estado de seguridad
Security Health Review verifica el estado "Activado" del conmutador Datos de auditoría y marca instancias donde los bucles de comentarios están inactivos, evitando que la compañía mejore su seguridad de IA.
Quién se ve afectado
Responsables de gobernanza de datos, administradores de IA, gestores de servicio al cliente y auditores legales/de cumplimiento.
