Comprender las herramientas y los indicadores clave de rendimiento de observabilidad Agentforce
La observabilidad no es una herramienta única. Es una cadena de herramientas en capas que incluye infraestructura que captura la actividad de los agentes, herramientas de desarrollo para probar su implementación previa de agentes y herramientas de supervisión que afloran tendencias y detalles a nivel de sesión después de la implementación.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varían según el tipo de agente. |
Saber qué capa hace qué es lo que mantiene a su agente observable desde la creación hasta la producción. Este artículo asigna la cadena de herramientas completa y cada sección vincula con más detalles.
Infraestructura
Antes de que cualquier herramienta de observabilidad pueda mostrar o procesar datos, necesitan la infraestructura de telemetría de agentes subyacente. Active estas herramientas de modo que el resto de la cadena de herramientas tenga datos con los que trabajar.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Sesión Rastreo Agentforce | Configuración → Agentforce → Rastreo de sesiones de Agentforce | Captura cada turno, paso de razonamiento, acción y mensaje para cada sesión de agente. Esto debe activarse antes de que cualquier otra herramienta de observabilidad tenga datos. |
| Rastreo de plataforma de agente | Configuración → Búsqueda rápida → IA generativa de Einstein → Configuración de Auditoría, Analytics y Supervisión de Einstein → Conmutador Rastreo de plataforma de agentes | Captura la telemetría a nivel de servicio en el motor de razonamiento Atlas, Apex, Flujos, Generador de solicitudes, Acciones invocables, Pasarela de IA, Pasarela LLM y Federador de consultas DC. |
| Auditoría y comentarios | Configuración → Búsqueda rápida → Einstein Audit → Configuración de Einstein Audit, Analytics y Monitoring | Captura entradas/salidas LLM, recupera datos de calidad, Trust evaluations, salidas de barandilla y señales de comentarios de usuarios. Potencia las puntuaciones de calidad y Trust en Agent Analytics. |
| Knowledge / Datos y mediciones de calidad de RAG | Configuración → Búsqueda rápida → Einstein Audit → Einstein Audit, Analytics y Monitoring Setup → Datos y mediciones de calidad de Knowledge / RAG | Puntúa la calidad de recuperación como Fidelidad de respuesta, Relevancia de respuesta, Relevancia de contexto, procesada a través de las oportunidades en curso de Auditoría y Comentarios. Potencia las mediciones de recuperación en las puntuaciones de calidad. |
| Trust Layer | Configuración → Búsqueda rápida → Einstein → Capa Einstein Trust | Puntúa la adhesión de instrucciones y la toxicidad derivada de salidas de pasarela LLM, procesadas a través de las oportunidades en curso de Auditoría y Comentarios. Potencia las mediciones Trust en Agent Analytics. |
Desglose cada una de estas herramientas en Agencia Observabilidad Infraestructura.
Construir y probar
Las herramientas Build & Test le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el tráfico de producción.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Agenteforce Builder | Agentforce Studio → Generador | Espacio de trabajo principal para el desarrollo y las pruebas de agentes iterativos. Ejecute conversaciones en modo Simular sin escribir datos o en modo Prueba en vivo con datos reales de extremo a extremo. |
| Resúmenes de interacción | Agentforce Studio → Generador → Panel Vista previa | Muestra la selección de subordinados, la ejecución de acciones y el razonamiento para una conversación de prueba. Profundice en cualquier elemento para cronología paso a paso y transiciones de subagente. |
| Centro de pruebas | Agentforce Studio → Centro de pruebas de Agentforce | Evaluación por lotes de recuperación de Knowledge, selección de subagente y acción y resolución de tareas, antes de la implementación. Genera y puntúa expresiones en un conjunto de pruebas utilizando puntuaciones predeterminadas, de calidad y personalizadas. Los puntuadores personalizados afloran después de la implementación en Agent Analytics. |
Desglose cada una de estas herramientas en Herramientas de observabilidad de compilación y prueba.
Observar
Una vez implementado su agente, las herramientas de fase Observar realizan un seguimiento de las tendencias en todas las sesiones, de modo que puede investigar conversaciones específicas y desglosar detalles a nivel de paso.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Agent Analytics | Agentforce Studio → Observar y optimizar → Analytics | Agrega datos de rendimiento entre todas las sesiones y aflora tendencias por área de resultado en paneles de Tableau Next. Las fichas varían por tipo de agente y cubren la efectividad, el uso, la calidad, la salud, Trust y Voice. |
| Optimización de agentes | Agentforce Studio → Observar y optimizar → Optimización | Vista de sesión individual con filtrado por intención, resultado y puntuación de calidad. Las sesiones procesadas incluyen agrupación de intenciones y puntuaciones de calidad; las sesiones no procesadas están disponibles de inmediato. |
| Resúmenes de interacción | Agentforce Studio → Observar y optimizar → Detalle de sesión de optimización | Desglose estructurado de una intención seleccionada mostrando subagentes desencadenados, acciones desencadenadas, puntuación de calidad y razonamiento de puntuación de calidad generado por LLM. |
| Rastreo | Agentforce Studio → Observar y optimizar → Detalle de sesión de optimización | Registro ordenado por tiempo de cada paso de procesamiento con texto de error y cronología por paso. Disponible de inmediato, incluyendo para sesiones que aún se están procesando. |
| Salud de agentes | Agentforce Studio → Alertas | Cree alertas y establezca umbrales de modo que se le notifique cuando la actividad del agente incumpla niveles aceptables. |
| Supervisar barandillas de agentes | Agentforce Studio → Observar y optimizar | Vista dedicada para tendencias de adhesión a instrucciones y resolución de tareas, separada de la vista de Analytics más amplia. |
| Supervisar su agente activado por Voice | Ficha Agentforce en Supervisor de Omni (consola de Service Cloud) | Vista de supervisor casi en tiempo real de llamadas de voz activas con transcripciones en vivo. |
| Editor de consultas de Data 360 | Data 360 → Consultas | Acceso SQL directo a las cuatro capas de datos subyacentes para agregaciones personalizadas, uniones de objetos cruzados y análisis que la interfaz de usuario del producto no aflora. |
Desglose cada una de estas herramientas en Herramientas de observación de fase.
La cadena de herramientas funciona mejor en secuencia. Comience con Infraestructura para garantizar que los datos fluyen, utilice Construir y probar para detectar problemas antes de la implementación y utilice Observar para realizar un seguimiento del rendimiento e investigar después de la implementación.
