Crear y probar herramientas de observabilidad
Las herramientas Construir y Probar le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el tráfico de producción. Las pruebas en Agentforce Builder le permiten iterar rápidamente en pláticas individuales, mientras que Centro de pruebas automatiza las pruebas a escala.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varían por tipo de agente. |
Las herramientas Construir y probar le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el tráfico de producción. Las pruebas en Builder le permiten iterar rápidamente en pláticas individuales, mientras que Centro de pruebas automatiza las pruebas a escala y entre una variedad de entradas.
Agentforce Builder
Agentforce Builder es donde desarrolla e itera en su agente antes de que esté listo para una implementación o pruebas más amplias. La vista previa le permite ejecutar pláticas de prueba en tiempo real y observar exactamente cómo responde el agente. Puede realizar una vista previa de pláticas en modo de simulación o prueba en vivo:
- Simule imita el comportamiento conversacional básico del agente sin redactar o modificar datos. Utilice esto para validar ajustes rápidos sin tocar registros en vivo.
- Prueba en vivo ejecuta acciones contra datos reales de extremo a extremo. Utilice esto cuando necesite confirmar que las acciones se desencadenan correctamente y los registros se actualizan como se espera. Este modo le proporciona la imagen más completa del comportamiento real de su agente.
Para cada plática de vista previa, Builder le proporciona varias herramientas para investigar lo que sucedió. Los resultados son inmediatos y a nivel de sesión, incluyendo el enrutamiento de subagentes, la ejecución de acciones y la calidad de la respuesta para la plática bajo prueba. Comience con el Resumen de interacciones, luego profundice según sea necesario.
Resumen de interacciones
El punto de inicio para cualquier investigación de vista previa. Disponible para cada turno de plática durante la plática: no necesita esperar hasta que se complete. Proporciona una descripción general de alto nivel de los pasos que realizó su agente para generar una respuesta, incluyendo el resultado de cada uno. Pase el ratón sobre cualquier paso para obtener más detalles. También incluye una explicación generada por IA del proceso de su agente, que ayuda a poner los pasos en contexto. Si no está seguro de lo que significa un resultado, Agentforce puede explicar el comportamiento de su agente, sugerir siguientes pasos o realizar soluciones de agentes. Cuando algo falla aquí, la ficha Rastreo entra en más detalles.
Ficha Rastreo
Muestra datos de rastreo completos para ese paso incluyendo cada evento de agente, el tiempo transcurrido y los detalles técnicos. Desglose cualquier evento de agente para abrir una vista JSON de la solicitud LLM completa del agente, incluyendo solicitudes del sistema.
Para realizar una vista previa y probar su agente en Agentforce Builder, consulte Agenteforce Builder Testing.
Centro de pruebas y puntuajes
Centro de pruebas es donde toma forma el lado previo a la implementación del bucle de observabilidad. Es donde confirma que su agente tiene un desempeño a escala antes de que se impliquen los clientes, establece las líneas base de calidad y desempeño con las que comparará las señales de producción y define los puntuajes que se trasladan a Analytics después de la implementación, cerrando el círculo entre las señales de datos previas y posteriores a la implementación.
En Centro de pruebas puede probar el comportamiento de subagentes, la ejecución de acciones, la recuperación de Knowledge, las plantillas de solicitudes y los criterios personalizados específicos de sus requisitos. Los resultados de la prueba afloran la calidad de la respuesta, la corrección de los subagentes y las acciones, la adhesión a las instrucciones y la latencia, todo ello previo a la implementación, por caso de prueba.
Ganadores
Los puntuajes son los criterios de evaluación que el Centro de pruebas utiliza para evaluar el resultado de los agentes. Muchos se asignan directamente a las mediciones que monitoreará en Agent Analytics, y las configuraciones de puntuaje personalizadas se trasladan como indicadores clave de desempeño de producción tras la implementación.
| Nivel | Goleadores | Lo que evalúa |
|---|---|---|
| Predeterminada | Puntuaje de respuesta, Afirmación de subagente, Afirmación de acción | Si se seleccionó el subagente correcto, se desencadenó la acción correcta y la respuesta fue aceptable. |
| Calidad | Completar, Coherencia, Concisión, Latencia, Adhesión a instrucciones | Qué buena fue la respuesta, no solo si se aprobó. Estos incluyen coherencia, integridad, concisión, latencia y adhesión a instrucciones como dimensiones distintas. |
| Personalizado | Criterios que su implementación requiere que los puntuajes predeterminados no puedan cubrir como voz de marca, precisión de dominio, tono o cumplimiento específico de casos de uso. | |
| Etiquetas definidas por el usuario | Devuelve un valor de una lista que define. Utilice para la clasificación, salidas de estilo enumeración o etiquetas de cumplimiento como aprobación/fallo de voz de marca, categorías de respuesta aprobadas y similares. | |
| Abierto definido por el usuario | Devuelve salida, texto, número y URL no restringidos. Se utiliza cuando necesita resultados enriquecidos o exploratorios que una lista fija no puede capturar. | |
| Plantilla de solicitud | Coherencia, Concisión, Completitud, Actualidad, Seguimiento de instrucciones, Coincidencia de respuesta | Calidad de salida para ejecuciones de pruebas de plantillas de solicitudes incluyendo factualidad, coincidencia de respuestas y las dimensiones de calidad estándar aplicadas a salidas de plantillas. |
Para configurar y ejecutar pruebas en Centro de pruebas, consulte Configurar y ejecutar pruebas en Agentforce Studio (Beta).
