Usted estĆ” aquĆ:
Comprender los indicadores clave de desempeƱo y las herramientas de observabilidad Agentforce
La observabilidad no es una herramienta única. Es una cadena de herramientas en capas que incluye infraestructura que captura la actividad de los agentes, herramientas de desarrollo para probar su implementación previa de agentes y herramientas de monitoreo que afloran tendencias y detalles a nivel de sesión después de la implementación.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varĆan por tipo de agente. |
Saber quĆ© capa hace quĆ© es lo que mantiene a su agente observable desde la creación hasta la producción. Este artĆculo asigna la cadena de herramientas completa y cada sección vincula con mĆ”s detalles.
Infraestructura
Antes de que cualquier herramienta de observabilidad pueda mostrar o procesar datos, necesitan la infraestructura de telemetrĆa de agentes subyacente. Active estas herramientas de modo que el resto de la cadena de herramientas tenga datos con los que trabajar.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Rastreo de sesiones Agentforce | Configuración ā Agentforce ā Rastreo de sesiones de Agentforce | Captura cada turno, paso de razonamiento, acción y mensaje para cada sesión de agente. Esto debe activarse antes de que cualquier otra herramienta de observabilidad tenga datos. |
| Rastreo de plataforma de agente | Configuración ā BĆŗsqueda rĆ”pida ā IA generativa de Einstein ā Configuración de AuditorĆa, Analytics y Monitoreo de Einstein ā Alternancia de rastreo de plataforma de agentes | Captura la telemetrĆa a nivel de servicio en el motor de razonamiento Atlas, Apex, Flujos, Generador de solicitudes, Acciones invocables, Pasarela de IA, Pasarela LLM y Federador de consultas DC. |
| AuditorĆa y comentarios | Configuración ā BĆŗsqueda rĆ”pida ā Einstein Audit ā Configuración de Einstein Audit, Analytics y Monitoring | Captura entradas/salidas LLM, datos de calidad de recuperación, evaluaciones Trust, salidas de barandilla y seƱales de comentarios de usuarios. Potencia los puntuajes de calidad y Trust en Agent Analytics. |
| Knowledge/RAG Datos y mediciones de calidad | Configuración ā BĆŗsqueda rĆ”pida ā Einstein Audit ā Configuración de Einstein Audit, Analytics y Monitoring ā Datos y mediciones de calidad de Knowledge / RAG | PuntĆŗa la calidad de recuperación como fidelidad de respuesta, relevancia de respuesta, relevancia de contexto, procesada a travĆ©s de las oportunidades en curso de AuditorĆa y Comentarios. Potencia las mediciones de recuperación en los Puntuajes de calidad. |
| Confianza | Configuración ā BĆŗsqueda rĆ”pida ā Einstein ā Capa Einstein Trust | PuntĆŗa la adhesión de instrucciones y la toxicidad derivada de resultados de pasarela LLM, procesados a travĆ©s de las oportunidades en curso AuditorĆa y Comentarios. Potencia las mediciones Trust en Agent Analytics. |
Profundice en cada una de estas herramientas en Infraestructura de observabilidad Agentforce.
Construir y probar
Las herramientas Construir y probar le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el trÔfico de producción.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Agenteforce Builder | Agentforce Studio ā Generador | El espacio de trabajo principal para el desarrollo y las pruebas de agentes iterativos. Ejecute plĆ”ticas en modo Simular sin redactar datos, o modo Prueba en vivo en datos reales de extremo a extremo. |
| Resumen de interacciones | Agentforce Studio ā Generador ā Panel de vista previa | Muestra la selección de subagente, la ejecución de acciones y el razonamiento para una plĆ”tica de prueba. Desglose cualquier elemento para la cronologĆa paso a paso y las transiciones de subagente. |
| Centro de pruebas | Agentforce Studio ā Centro de pruebas de Agentforce | Evaluación por lotes de recuperación de Knowledge, selección de subagentes y acciones y resolución de tareas antes de la implementación. Genera y puntĆŗa expresiones en un conjunto de pruebas utilizando puntuajes predeterminados, de calidad y personalizados. Los puntuajes personalizados afloran despuĆ©s de la implementación en Agent Analytics. |
Desglose cada una de estas herramientas en Herramientas de observabilidad de creación y prueba.
Observar
Una vez implementado su agente, las herramientas de fase Observar realizan un seguimiento de las tendencias en todas las sesiones, de modo que puede investigar plĆ”ticas especĆficas y desglosar detalles a nivel de paso.
| Herramienta | Dónde aparece | Descripción |
|---|---|---|
| Agent Analytics | Agentforce Studio ā Observar y optimizar ā Analytics | Agrega datos de desempeƱo entre todas las sesiones y aflora tendencias por Ć”rea de resultados en tableros de Tableau Next. Las fichas varĆan por tipo de agente y cubren efectividad, uso, calidad, salud, Trust y voz. |
| Optimización de agentes | Agentforce Studio ā Observar y optimizar ā Optimización | Vista de sesión individual con filtrado por intención, resultado y puntuaje de calidad. Las sesiones procesadas incluyen puntuajes de calidad y agrupación de intenciones; las sesiones sin procesar estĆ”n disponibles de inmediato. |
| Resumen de interacciones | Agentforce Studio ā Observar y optimizar ā Detalle de sesión de optimización | Desglose estructurado de una intención seleccionada mostrando subagentes desencadenados, acciones desencadenadas, puntuaje de calidad y razonamiento de puntuaje de calidad generado por LLM. |
| Rastreo | Agentforce Studio ā Observar y optimizar ā Detalle de sesión de optimización | Registro ordenado por tiempo de cada paso de procesamiento con texto de error y cronologĆa por paso. Disponible de inmediato, incluyendo para sesiones que aĆŗn se estĆ”n procesando. |
| Salud de agente | Agentforce Studio ā Alertas | Cree alertas y establezca umbrales de modo que se le notifique cuando la actividad del agente infrinja niveles aceptables. |
| Monitorizar barandillas de agentes | Agentforce Studio ā Observar y optimizar | Vista dedicada para tendencias de adhesión a instrucciones y resolución de tareas, separada de la vista de Analytics mĆ”s amplia. |
| Monitorear su agente activado por Voice | Ficha Agentforce en Supervisor de Omni (consola de Service Cloud) | Vista de supervisor casi en tiempo real de llamadas de voz activas con transcripciones en vivo. |
| Editor de consultas de Data 360 | Data 360 ā Consultas | Acceso SQL directo a las cuatro capas de datos subyacentes para agregaciones personalizadas, uniones de objetos cruzados y anĆ”lisis que la interfaz de usuario del producto no aflora. |
Desglose cada una de estas herramientas en Herramientas de observación de fases.
La cadena de herramientas funciona mejor en secuencia. Comience con Infraestructura para garantizar que los datos fluyen, utilice Construir y probar para detectar problemas antes de la implementación y utilice Observar para realizar un seguimiento del desempeño e investigar después de la implementación.
