Herramientas de observación de fase
Una vez implementado su agente, la observabilidad cambia de evaluación controlada a supervisión en vivo. Esta fase se centra en identificar y realizar un seguimiento de tendencias en todas las sesiones, investigar conversaciones específicas y profundizar en exactamente lo que sucedió en el nivel del paso.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varían según el tipo de agente. |
Análisis de agentes
Agent Analytics es donde supervisa el rendimiento de su agente a lo largo del tiempo. Agrega datos entre todas las sesiones y aflora tendencias en un conjunto de paneles con tecnología de Tableau Next. Este es el punto de inicio para cualquier pregunta de fase Observar; mire aquí primero para comprender las tendencias antes de ir a herramientas a nivel de sesión.
| Ficha | Lo que muestra | Para qué sirve | Origen de datos |
|---|---|---|---|
| Descripción general | Tarjetas de resumen en todas las áreas | Comprobación de estado rápida en todas las dimensiones de un vistazo | STDM + Auditoría y comentarios + Calidad de RAG |
| Eficacia | Índice de desviación, Índice de distribución, Índice de abandono, Índice de implicación, Índice de éxito, Índice de resolución de tareas | Realizar un seguimiento de si el agente está completando su trabajo y gestionando el volumen | STDM |
| Uso | Sesiones exclusivas, Interacciones exclusivas, Usuarios exclusivos, Media de interacciones/sesiones | Comprender patrones de adopción e implicación | STDM |
| Puntuaciones de calidad | Puntuación de calidad, fidelidad de respuesta, relevancia de respuesta, relevancia de contexto | Evaluar la calidad de salida LLM y la precisión de recuperación | Auditoría y comentarios + Calidad de RAG |
| Estado | Latencia de interacción de agente, Duración de sesión, Índice de error | Supervisar el rendimiento operativo y la estabilidad | STDM |
| Confianza | Índice de respuesta de adhesión, Puntuación de toxicidad media de agentes | Comprobar si el agente sigue instrucciones y se mantiene dentro de los límites de contenido | Auditoría y comentarios + Trust Layer |
| Voice | Índice de interrupción | Supervisar el flujo de conversación para agentes activados por voz | STDM (solo agentes activados por voz) |
| Satisfacción del usuario | Pulgares arriba/abajo recuentos y tendencia | Realizar un seguimiento de señales de comentarios de usuarios directos | Auditoría y comentarios (solo agente empleado) |
| Perspectivas de rendimiento | Desgloses de cualquier medición por subagente, intención o acción | Restringir una tendencia a un subagente o acción específicos antes de ir a sesiones | STDM + Auditoría y comentarios |
Perspectivas de rendimiento
Perspectivas de rendimiento es el paso entre ver una tendencia y profundizar en sesiones. Antes de abrir Optimización de agentes, utilícela para desglosar cualquier medición por subagente, intención o acción, de modo que sepa exactamente dónde buscar en vez de revisar sesiones al azar.
Consulte Agent Analytics para obtener permisos y requisitos de configuración.
Optimización de agentes
Cuando Analytics aflora un patrón y necesita comprender qué lo está impulsando, Optimización de agentes es a donde va a continuación. Le proporciona una vista de conversaciones de usuario-agente individuales, permitiéndole filtrar, examinar y abrir sesiones específicas para ver lo que sucedió en realidad. Dos vistas:
- Sesiones procesadas: intención extraída, agrupada y puntuación de calidad. Disponible de 4 a 5 horas después del cierre de la sesión. Columnas de tabla: Id. de sesión, marca de tiempo, duración, resultado, etiquetas de puntuador personalizadas, resumen de intención, resumen de respuesta, subagentes desencadenados, acciones desencadenadas, etiqueta de intención, puntuación de calidad.
- Sesiones sin procesar: activas, recientes o que aún se están procesando. La ficha Rastreo está disponible de inmediato: no necesita esperar a que el procesamiento de intenciones inicie la depuración.
La agrupación de intenciones es lo que separa la detección de patrones de la revisión sesión por sesión. Las Canalizaciones de agrupación se ejecutan semanalmente y agrupan intenciones similares por similitud semántica una vez que una etiqueta de clúster acumula 10 o más intenciones coincidentes. Una vez formados los clústeres, puede filtrar por clúster para aflorar todas las sesiones donde los usuarios preguntaron lo mismo de diferentes formas: la ruta más rápida para identificar patrones de fallo sistemáticos en vez de revisar sesiones una por una.
KPI aflorados: Áreas de resultados Impacto de agente y Eficacia de agente: resultado a nivel de sesión, puntuación de calidad y patrones de intención.
Lo que no puede hacer: Mediciones agregadas entre sesiones (utilice Analytics); las sesiones a través de correo electrónico en tiempo real no se reflejan de inmediato.
Aflora resultados a nivel de sesión, puntuación de calidad y patrones de intención. Consulte Optimización de agentes para filtros y columnas de sesión actuales.
Ficha Resumen de interacción
Cuando abre una sesión en Optimización de agentes y selecciona una intención, la ficha Resumen de interacciones le proporciona un desglose estructurado de lo que sucedió para esa intención:
- Nombre de agente, latencia media de agente (ms), interacciones totales, duración de intención
- Temas (subagentes) desencadenados, acciones desencadenadas
- Etiqueta de intención, puntuación de calidad (Alta/Media/Baja)
- Razonamiento de puntuación de calidad: una explicación generada por LLM de por qué se asignó la puntuación de calidad
El razonamiento de puntuación de calidad es lo que convierte una puntuación en una dirección. Para una puntuación de baja calidad, el campo de razonamiento a menudo le indica directamente lo que el evaluador encontró (subagente incorrecto, respuesta incompleta, instrucción fallida, fallo de recuperación) en lenguaje natural. Es la ruta más rápida de "la calidad es baja" a "esto es lo que hay que investigar" antes de abrir la ficha Rastreo.
No está disponible hasta que se complete el procesamiento de intenciones (de 4 a 5 horas después de la sesión). Para la depuración inmediata, comience con la ficha Rastreo.
Ficha Rastreo
También accesible desde una sesión en Optimización de agentes, la ficha Rastreo le proporciona un registro ordenado por tiempo de cada paso de procesamiento: identificación de subagentes, selección de acciones, enrutamiento, actualizaciones de variables, recuperación y generación de respuestas. Cada paso muestra un indicador de estado y una cronología, y los pasos anidados son ampliables para la delegación de subagentes.
La ficha Rastreo es la herramienta de análisis de causa raíz principal. Cada otra herramienta le indica qué, como una medición movida, una puntuación de calidad descartada o una sesión falló. La ficha Rastreo le indica dónde y por qué incluyendo qué paso falló, cuál fue el mensaje de error, dónde se empleó el tiempo y qué devolvió la recuperación.
Tipos de paso: gestión de intenciones, enrutamiento de subagentes, filtros, recuperaciones, actualizaciones de variables y ejecución de acciones. Cada paso tiene marcas de tiempo de inicio y finalización y ErrorMessageText. Para implementaciones de múltiples agentes (SOMA), amplíe cualquier paso donde se invocó un subagente para desglosar pasos anidados.
Trabajo con errores: Consulte ErrorMessageText en AiAgentInteractionStepDmo__dlm a través de SOQL y filtre valores de centinela (NOT_SET, Ninguno, cadena vacía) para aislar errores reales.
KPI aflorados: Latencia a nivel de paso del área de resultados de Salud de agente, ubicación de error y secuencia de ejecución.
Disponible de inmediato, incluso para sesiones sin procesar. No espere al procesamiento de intenciones si necesita depurar ahora mismo.
Supervisión de estado de agentes
Supervisión de estado de agentes detecta fallos de agentes silenciosos como índices de error de pico, alta latencia o índices de respuesta descendentes, y le notifica casi en tiempo real antes de que se agreguen a la repercusión en el cliente. Donde Agent Analytics aflora tendencias a lo largo del tiempo, Supervisión de salud está diseñada para una respuesta rápida: establezca umbrales en las mediciones que importan para su implementación, reciba notificaciones cuando se infrinjan y desglose los rastreos de sesiones para encontrar la causa.
| Métrico | Lo que le dice |
|---|---|
| Índice de errores de agentes | Porcentaje de interacciones que tuvieron un error |
| Latencia de interacción media | Tiempo medio (ms) que tarda el agente en responder a una interacción |
| Índice de distribución | Porcentaje de interacciones que se distribuyeron a un humano |
| Índice de respuesta de agentes | Porcentaje de turnos de usuario que recibieron una respuesta de agente en 60 segundos |
Estas mediciones también se visualizan en la subficha Estado de Agent Analytics.
Alertas
Cada alerta supervisa una medición para un agente. El sistema evalúa las alertas cada minuto frente a los 15 minutos anteriores de datos y envía una notificación por correo electrónico cuando se supera un umbral. Después de que se active una notificación, la misma alerta se detiene durante 30 minutos antes de que pueda notificar de nuevo.
Las notificaciones vinculan la alerta directamente a las sesiones que la desencadenaron. Cada notificación muestra la sesión afectada de modo que pueda ir directamente al rastreo sin buscar. Consulte Supervisar estado de agentes para obtener permisos y requisitos de configuración.
Supervisar barandillas de agentes
Supervisar barandillas de agentes le proporciona una vista centrada de la adhesión a instrucciones y la resolución de tareas: los resultados de Trust Layer afloraron como mediciones de supervisión exclusivas, separadas de la vista de Analytics más amplia. Para implementaciones donde el cumplimiento de la barandilla es un requisito con seguimiento (industrias reguladas, aplicación de políticas empresariales, seguridad de marca), esto le proporciona tendencias de adhesión a instrucciones y resolución de tareas en un solo lugar, separadas de las señales de rendimiento y calidad.
KPI aflorados: Área de resultados de Salud de agente: cumplimiento de instrucciones y resolución de tareas.
Consulte Supervisar barandillas de agentes para ver las mediciones actuales.
Supervisar su agente activado por Voice
Para implementaciones de voz, los supervisores pueden supervisar llamadas activas en tiempo real a través de la ficha Agentforce en Supervisor de Omni (consola de Service Cloud). Esto es distinto de la ficha Voice en Analytics, que muestra datos agregados históricos: Supervisor de Omni es para ver actividad en vivo, no revisar sesiones pasadas.
La ficha Agentforce en Supervisor de Omni muestra una lista de agentes en llamadas activas y transcripciones de llamadas en vivo. Se accede a él a través de la consola de Service Cloud, no Agentforce Studio.
KPI aflorados: Área de resultados de Estado de agente: estado y transcripción de llamada en vivo, en tiempo real no histórico. Consulte Supervisar su agente con capacidad de voz para la configuración y el supervisor.
Editor de consultas e informes de Data 360
Para preguntas que la interfaz de usuario del producto no responde, el Editor de consultas de Data 360 le proporciona acceso SQL directo a los datos subyacentes. Consulte utilizando DMO (el punto de entrada semántico a los datos) entre las cuatro capas: STDM, Auditoría y comentarios, Calidad de RAG y Optimizador de agentes.
También puede crear informes en Data 360 que extraen información relevante de los DMO aplicables. Para obtener más información, incluyendo los permisos requeridos, consulte Informes y paneles Data 360.
DMO del modelo de datos de rastreo de sesiones (STDM):
AiAgentSessionDmo: hechos a nivel de sesión: tipo de canal, tipo de finalización de sesión, Id. de sesión de voz/mensajería relacionadosAiAgentSessionParticipantDmo: que se unieron a: nombre de API de contacto, candidato, usuario, agenteAiAgentInteractionDmo: un turno; incluyeTopicApiName(qué subagente lo ha gestionado)AiAgentInteractionStepDmo: un paso discreto con marcas de tiempo de inicio y finalización yErrorMessageTextAiAgentInteractionMessageDmo: texto de entrada/salida real
DMO de auditoría y comentarios:
GenAiGatewayRequest: la solicitud y el contexto enviados al LLMGenAiGatewayResponse: respuesta del LLMGenAiResponseGeneration: metadatos a nivel de generaciónGenAiFeedback: señales de comentarios de usuariosGenAiContentQuality: puntuaciones de evaluación de calidadGenAiContentQualityCategory: clasificaciones de categorías de contenido
Calidad de RAG:
AIRetrieverRequest(DLO): consulta de recuperación enviada a la fuente de KnowledgeAIRetrieverResponse(DLO): el contexto recuperado devueltoAIRetrieverQualityMetric(DMO): Puntuaciones de fidelidad de respuesta, relevancia de respuesta y relevancia de contexto
Para objetos Optimizador de agentes, consulte Modelo de datos Optimización de agentes.
KPI aflorados: Todas las áreas de resultados: cualquier KPI derivable de los datos sin procesar entre las cuatro capas de infraestructura.
El siguiente paso es conectarlos a superficies. Ha definido el aspecto del éxito para su agente y sabe lo que puede aflorar la cadena de herramientas. Ahora, el trabajo está creando un plan que asigna sus áreas de resultados a las señales correctas y las señales correctas a las herramientas correctas. Ese plan es lo que convierte la observabilidad de un conjunto de funciones en una práctica repetible.
