Creazione e test degli strumenti di osservabilità
Gli strumenti Crea e Testa consentono di osservare il comportamento degli agenti durante lo sviluppo, prima che esista traffico di produzione. I test in Agentforce Builder consentono di ripetere rapidamente le singole conversazioni, mentre il Centro test automatizza i test su larga scala.
Versioni (Edition) richieste
| Disponibile nelle versioni: Lightning Experience |
| Disponibile in: Enterprise Edition, Performance Edition, Unlimited Edition e Developer Edition. Le licenze aggiuntive richieste variano a seconda del tipo di agente. |
Gli strumenti Build & Test consentono di osservare il comportamento degli agenti durante lo sviluppo, prima che esista traffico di produzione. I test nel Generatore consentono di ripetere rapidamente le singole conversazioni, mentre il Centro test automatizza i test su larga scala e in una serie di input.
Agentforce Builder
Agentforce Builder è il luogo in cui si sviluppa e si ripete l'agente prima che sia pronto per un test o una distribuzione più ampi. L'anteprima consente di eseguire conversazioni di prova in tempo reale e di osservare esattamente come risponde l'agente. È possibile visualizzare in anteprima le conversazioni in modalità di simulazione o test live:
- Simula il comportamento conversazionale di base degli agenti senza scrivere o modificare i dati. Utilizzare questa opzione per convalidare le regolazioni rapide senza toccare i record live.
- Test live esegue azioni end-to-end sui dati reali. Utilizzare questa opzione quando è necessario verificare che le azioni vengano attivate correttamente e che i record vengano aggiornati come previsto. Questa modalità offre un quadro più completo del comportamento effettivo dell'agente.
Per ogni conversazione di anteprima, il Generatore offre diversi strumenti per analizzare l'accaduto. I risultati sono a livello di sessione e immediati, inclusi l'instradamento dei subagenti, l'esecuzione delle azioni e la qualità della risposta per la conversazione in esame. Iniziare con il Riepilogo delle interazioni, quindi approfondire in base alle esigenze.
Riepilogo interazione
Il punto di partenza per qualsiasi indagine di anteprima. Disponibile per ogni turno di conversazione durante la conversazione: non è necessario attendere il completamento. Offre una panoramica generale dei passaggi eseguiti dall'agente per generare una risposta, incluso il risultato di ciascuno di essi. Passare il mouse su qualsiasi fase per ulteriori dettagli. Include anche una spiegazione generata dall'intelligenza artificiale del processo dell'agente, che consente di contestualizzare le fasi. Se non si sa con certezza cosa significhi un risultato, Agentforce può spiegare il comportamento dell'agente, suggerire le fasi successive o apportare correzioni all'agente. Quando qualcosa non va, la scheda Traccia viene visualizzata in dettaglio.
Scheda Traccia
Mostra i dati di traccia completi per quella fase, inclusi ogni evento dell'agente, il tempo trascorso e i dettagli tecnici. Approfondire qualsiasi evento dell'agente per aprire una visualizzazione JSON del prompt LLM completo dell'agente, inclusi i prompt di sistema.
Per visualizzare in anteprima e testare l'agente in Agentforce Builder, vedere Test di Agentforce Builder.
Centro test e scorer
Il Centro test è il punto in cui prende forma il lato pre-distribuzione del loop di osservabilità. È il punto in cui si confermano le prestazioni dell'agente su larga scala prima che i clienti siano coinvolti, si stabiliscono i valori di riferimento di qualità e prestazioni con cui si confronteranno i segnali di produzione e si definiscono i marcatori che vengono riportati in Analytics dopo la distribuzione, chiudendo il loop tra i segnali di dati pre e post-distribuzione.
Nel Centro test è possibile testare il comportamento dei subagenti, l'esecuzione di azioni, il recupero Knowledge, i modelli di prompt e i criteri personalizzati specifici per le proprie esigenze. I risultati dei test evidenziano la qualità della risposta, la correttezza del subagente e dell'azione, l'osservanza delle istruzioni e la latenza, tutte operazioni pre-distribuzione per caso di test.
Capocannonieri
I marcatori sono i criteri di valutazione utilizzati dal Centro test per valutare l'output degli agenti. Molte vengono mappate direttamente alle metriche che verranno monitorate in Agent Analytics e le configurazioni dei punteggi personalizzate vengono riportate come KPI di produzione dopo la distribuzione.
| Livello | Capocannonieri | Che cosa valuta |
|---|---|---|
| Predefinito | Calcolo dei punteggi delle risposte, Asserzione subagente, Asserzione azione | Se è stato selezionato il subagente giusto, l'azione giusta è stata attivata e la risposta è stata accettabile. |
| Qualità | Completezza, coerenza, concisione, latenza, osservanza delle istruzioni | Quanto è stata buona la risposta, non solo se è passata. Questi includono coerenza, completezza, concisione, latenza e osservanza delle istruzioni come dimensioni distinte. |
| Personalizzato | Criteri che la distribuzione richiede e che i punteggi predefiniti non possono coprire come la voce dell'immagine aziendale, la precisione del dominio, il tono o la conformità specifica del caso d'uso. | |
| Etichette definite dall'utente | Restituisce un valore da un elenco definito. Utilizzare per la classificazione, gli output in stile enum o le etichette di conformità come pass/fail vocale dell'immagine aziendale, le categorie di risposta approvate e simili. | |
| Aperto definito dall'utente | Restituisce output senza vincoli, testo, un numero, un URL. Utilizzare quando sono necessari risultati più completi o esplorativi che un elenco fisso non è in grado di acquisire. | |
| Modello di prompt | Coerenza, Concisione, Completezza, Fattorialità, Istruzioni che seguono, Corrispondenza risposta | Qualità dell'output per le serie di test del modello prompt che includono la realtà, la corrispondenza delle risposte e le dimensioni di qualità standard applicate agli output del modello. |
Per impostare ed eseguire test nel Centro test, vedere Impostazione ed esecuzione di test in Agentforce Studio (beta).
