Crear y probar herramientas de observabilidad
Las herramientas Construir y Probar le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el tráfico de producción. Las pruebas en Agentforce Builder le permiten iterar rápidamente en conversaciones individuales, mientras que Centro de pruebas automatiza las pruebas a escala.
Ediciones necesarias
| Disponible en: Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition, Unlimited Edition y Developer Edition. Las licencias complementarias requeridas varían según el tipo de agente. |
Las herramientas Build & Test le permiten observar el comportamiento de los agentes durante el desarrollo, antes de que exista el tráfico de producción. Las pruebas en el Generador le permiten iterar rápidamente en conversaciones individuales, mientras que el Centro de pruebas automatiza las pruebas a escala y entre una gama de entradas.
Agentforce Builder
Agentforce Builder es donde desarrolla e itera en su agente antes de que esté listo para pruebas o implementación más amplias. La vista previa le permite ejecutar conversaciones de prueba en tiempo real y observar exactamente cómo responde el agente. Puede obtener una vista previa de conversaciones en modo de simulación o prueba en vivo:
- Simule el comportamiento conversacional básico del agente sin redactar o modificar datos. Utilice esto para validar ajustes rápidos sin tocar registros en vivo.
- Prueba en vivo ejecuta acciones contra datos reales de extremo a extremo. Utilice esto cuando necesite confirmar que las acciones se activan correctamente y los registros se actualizan como se espera. Este modo le proporciona la imagen más completa del comportamiento real de su agente.
Para cada conversación de vista previa, Builder le proporciona varias herramientas para investigar lo que sucedió. Los resultados son inmediatos y a nivel de sesión, incluyendo el enrutamiento de subagentes, la ejecución de acciones y la calidad de la respuesta para la conversación bajo prueba. Comience con el Resumen de interacciones y, a continuación, profundice según sea necesario.
Resúmenes de interacción
El punto de inicio para cualquier investigación de vista previa. Disponible para cada turno de conversación durante la conversación: no necesita esperar hasta que se complete. Proporciona una descripción general de alto nivel de los pasos que realizó su agente para generar una respuesta, incluyendo el resultado de cada uno. Pase el ratón sobre cualquier paso para obtener más detalles. También incluye una explicación generada por IA del proceso de su agente, que ayuda a poner los pasos en contexto. Si no está seguro de lo que significa un resultado, Agentforce puede explicar el comportamiento de su agente, sugerir siguientes pasos o realizar soluciones de agentes. Cuando algo aparece mal aquí, la ficha Rastreo entra en más detalles.
Ficha Rastreo
Muestra datos de rastreo completos para ese paso incluyendo cada evento de agente, el tiempo transcurrido y los detalles técnicos. Profundice en cualquier evento de agente para abrir una vista JSON de la solicitud LLM completa del agente, incluyendo solicitudes del sistema.
Para obtener una vista previa y probar su agente en Agentforce Builder, consulte Agencia Builder Testing.
Centro de pruebas y puntuadores
Centro de pruebas es donde toma forma el lado previo a la implementación del bucle de observabilidad. Es donde confirma el rendimiento de su agente a escala antes de que se involucren los clientes, establece las líneas base de calidad y rendimiento con las que comparará las señales de producción y define los puntuadores que se trasladan a Analytics después de la implementación, cerrando el círculo entre las señales de datos previas y posteriores a la implementación.
En Centro de pruebas puede probar el comportamiento de subagentes, la ejecución de acciones, la recuperación Knowledge, plantillas de solicitudes y criterios personalizados específicos de sus requisitos. Los resultados de la prueba afloran la calidad de la respuesta, la corrección del subagente y la acción, la adhesión a las instrucciones y la latencia, todo ello previo a la implementación, por caso de prueba.
Goleadores
Los puntuadores son los criterios de evaluación que utiliza el Centro de pruebas para evaluar la salida de agentes. Muchos se asignan directamente a las mediciones que supervisará en Agent Analytics, y las configuraciones de puntuador personalizadas se trasladan como KPI de producción tras la implementación.
| Nivel | Goleadores | Lo que evalúa |
|---|---|---|
| Predeterminado | Puntuador de respuesta, Afirmación de subagente, Afirmación de acción | Si se seleccionó el subagente correcto, se activó la acción correcta y la respuesta fue aceptable. |
| Calidad | Completitud, Coherencia, Concisión, Latencia, Adhesión a la instrucción | Qué buena fue la respuesta, no solo si se aprobó. Estos incluyen coherencia, exhaustividad, concisión, latencia y adhesión a instrucciones como dimensiones distintas. |
| Personalizar | Criterios que su implementación requiere que los puntuadores predeterminados no puedan cubrir como voz de marca, precisión de dominio, tono o cumplimiento específico de casos de uso. | |
| Etiquetas definidas por el usuario | Devuelve un valor de una lista que defina. Se utiliza para la clasificación, salidas de estilo enumeración o etiquetas de cumplimiento como pase/fallo de voz de marca, categorías de respuesta aprobadas y similares. | |
| Apertura definida por el usuario | Devuelve salida no restringida, texto, un número, una URL. Se utiliza cuando necesita resultados enriquecidos o exploratorios que una lista fija no puede capturar. | |
| Plantilla de solicitud | Coherencia, Concisión, Completitud, Actualidad, Seguimiento de instrucciones, Coincidencia de respuesta | Calidad de salida para ejecuciones de prueba de plantillas de solicitudes incluyendo factualidad, coincidencia de respuestas y las dimensiones de calidad estándar aplicadas a salidas de plantillas. |
Para configurar y ejecutar pruebas en Centro de pruebas, consulte Configurar y ejecutar pruebas en Agentforce Studio (Beta).
