Preparación de pruebas

Definir objetivos y estrategia

Antes de que comiencen las pruebas, defina claramente qué constituye un éxito para su agente de IA.

• Establezca objetivos vinculados al valor de negocio: Establezca objetivos específicos, mensurables, alcanzables y relevantes para el desempeño de su agente, directamente vinculados a los objetivos de negocio que identificó para su agente.
• Deconstruya el agente: Desglose el agente en componentes, como subagentes y acciones. La prueba de estas piezas individualmente ayuda a determinar las ineficiencias en su origen.

Después de definir sus objetivos, el siguiente paso es crear una estrategia de prueba. Una estrategia sólida incluye:

• Identificando escenarios de prueba y estableciendo parámetros de evaluación.
• Ejecución de pruebas y validación de los resultados.
• Realice ajustes basados en pruebas y repita pruebas hasta que su agente esté trabajando según lo esperado.
• Pruebe con una cadencia regular para asegurarse de que su agente sigue teniendo el desempeño que pretende.

Crear escenarios de prueba e identificar requisitos de datos

Un escenario de prueba evalúa el desempeño de un agente de IA en una situación realista. Simula una interacción real y le ayuda a probar si el agente comprende la entrada de usuario correctamente, selecciona el subagente correcto, ejecuta acciones apropiadas y responde de forma precisa, completa y en el tono correcto. Un escenario de prueba sólido incluye:

• Descripción de escenario: Una breve descripción de la situación o el contexto, como un cliente que acaba de recibir su dispositivo y está confundido por un código de error.
• Expresión de prueba: Frase o pregunta real que ingresa el usuario.
• Subagente previsto: Subagente que se espera que el agente seleccione en base a su configuración o transiciones de enrutamiento deterministas.
• Acción esperada: La acción específica que se espera que el agente realice en respuesta, como “información de búsqueda sobre productos y políticas” o “distribuir la plática a un representante de servicio”.
• Respuesta prevista: Una respuesta apropiada para la marca basada en información validada. La redacción del agente puede variar, pero verifique que el tono parece correcto y la respuesta es precisa.
• Variaciones de expresión: Las diferentes formas en que los clientes tienen probabilidad de formular una pregunta o solicitud. Incluya expresiones que varían basándose en diferencias de idioma y diferentes estados emocionales del cliente, así como expresiones que cambian el tema de la plática.
• Vueltas múltiples: Una plática que se extiende más allá de una pregunta y respuesta. Es importante probar cómo gestiona el agente las solicitudes en una plática continuada.