Preparazione test

Definizione di obiettivi e strategia

Prima di iniziare il test, definire chiaramente che cosa costituisce un successo per l'agente AI.

• Impostare obiettivi collegati al valore aziendale: Stabilire obiettivi specifici, misurabili, raggiungibili e pertinenti per le prestazioni dell'agente, direttamente collegati agli obiettivi aziendali identificati per l'agente.
• Decostruire l'agente: Suddividere l'agente in componenti, ad esempio agenti secondari e azioni. Il test di queste parti singolarmente consente di individuare le inefficienze alla fonte.

Dopo aver definito gli obiettivi, il passaggio successivo è creare una strategia di test. Una strategia solida include:

• Identificare gli scenari di test e impostare i parametri di valutazione.
• Esecuzione di test e convalida dei risultati.
• Apportare rettifiche basate su prove e ripetere i test finché l'agente non funziona come previsto.
• Eseguire un test con cadenza regolare per assicurarsi che l'agente funzioni ancora nel modo previsto.

Creazione di scenari di test e identificazione dei requisiti dei dati

Uno scenario di test valuta le prestazioni di un agente AI in una situazione realistica. Simula un'interazione reale e consente di verificare se l'agente comprende correttamente l'input dell'utente, seleziona il subagente giusto, esegue le azioni appropriate e risponde in modo preciso, completo e con il tono giusto. Uno scenario di test efficace include:

• Descrizione scenario: Breve descrizione della situazione o del contesto, ad esempio un cliente che ha appena ricevuto il dispositivo ed è confuso da un codice di errore.
• Enunciazione test: Frase o domanda effettiva immessa dall'utente.
• Sottoagente previsto: Il subagente che l'agente deve selezionare in base alla configurazione o alle transizioni di instradamento deterministiche.
• Azione prevista: L'azione specifica che l'agente deve intraprendere in risposta, ad esempio "ricerca di informazioni su prodotti e polizze" o "inoltrare la conversazione a un agente dell'assistenza".
• Risposta prevista: Una risposta adeguata all'immagine aziendale basata su informazioni convalidate. La formulazione dell'agente può variare, ma verificare che il tono sia corretto e che la risposta sia corretta.
• Variazioni di enunciazione: I diversi modi in cui i clienti probabilmente formulano una domanda o una richiesta. Includere enunciazioni che variano in base alle differenze di lingua e ai diversi stati emotivi dei clienti, nonché enunciazioni che modificano l'argomento della conversazione.
• Multigiro: Una conversazione che va oltre una domanda e una risposta. È importante verificare in che modo l'agente gestisce le richieste in una conversazione continua.