Calcolo dei punteggi e Calcolo dei punteggi personalizzato (beta)

Dove compaiono i marcatori in Ottimizzazione e Analytics

• Test Next Gen: creare scorer personalizzati come parte di una suite di test nuova o esistente, perfezionarla e pubblicarla.
• Scorer Hub (Agenteforce Studio): luogo centrale per visualizzare, attivare e gestire i marcatori.
• Tabella Sessioni e Intenti: le sessioni mostrano i risultati dei marcatori; filtrare e analizzare in base alle dimensioni dei marcatori personalizzate.
• Pagina sessione: le sessioni mostrano le etichette e i punteggi dei punteggi dei punteggi associati.
• Cruscotto digitale Analytics: le misure dei punteggi personalizzate vengono visualizzate come metriche per i rapporti.

Considerations and Limitations

• Disponibile in Lightning Experience nelle versioni Enterprise Edition, Performance Edition e Unlimited Edition con Salesforce Foundations o Agentforce 1 Edition in cui sono abilitate l'ottimizzazione degli agenti e Analytics.
• I punteggi personalizzati sono in versione beta e non richiedono alcuna licenza aggiuntiva oltre Agentforce.
• Durante la versione beta sono supportati solo i punteggi a livello di sessione.
• I marcatori personalizzati non sono supportati per i tipi di agenti Agentforce Employee Agent (AEA).
• Il tipo di agente DSP viene visualizzato nell'Hub scorer ma non nell'elenco a discesa agente dell'interfaccia utente di ottimizzazione.
• I marcatori standard (A&D, Quality Score) vengono creati quando viene eseguito il provisioning STDM. Se mancano, verificare la presenza di un problema di provisioning.
• È necessario clonare uno scorer standard prima di modificarlo; la modifica diretta non è supportata durante la versione beta.
• I marcatori basati su espressioni richiedono un tipo di output booleano.
• I marcatori numerici su una scala da 0-1 non sono consigliati perché gli LLM hanno prestazioni scarse su intervalli numerici molto ristretti.
• Le sessioni del Centro test non vengono calcolate dai punteggi dei punteggi personalizzati. Poiché le sessioni del Centro test non ricevono un'indicazione oraria di fine, l'azione dati che attiva la valutazione del punteggio personalizzata non viene mai attivata.

Panoramica

I marcatori valutano le sessioni degli agenti e generano punteggi, dimensioni (valori di testo) e misure (valori numerici). Fanno parte dell'ottimizzazione e dell'osservabilità Agentforce. Vengono eseguiti automaticamente in base a una percentuale configurabile di sessioni e mostrano i risultati in Ottimizzazione e Analytics, in modo che amministratori e sviluppatori possano migliorare continuamente le prestazioni degli agenti.

Esistono due tipi di marcatori:

• I punteggi standard sono forniti da Salesforce pronti all'uso.
• I punteggi personalizzati vengono definiti dall'organizzazione per valutare i criteri specifici dell'azienda.

Calcolo dei punteggi standard

I marcatori standard sono valutazioni predefinite create automaticamente con il provisioning STDM. Vengono eseguiti nelle sessioni degli agenti senza configurazione cliente aggiuntiva.

Punteggiatori standard correnti

• Punteggio di abbandono: indica se il cliente ha terminato prematuramente la sessione prima che l'agente risolvesse il problema.
• Punteggio deviazione: indica se l'agente ha deviato correttamente un'interazione dal richiedere l'inoltro al livello superiore umano.
• Punteggio di qualità: misura la qualità complessiva della sessione in base a criteri Salesforce predefiniti.

I marcatori standard utilizzano una posizione riservata nell'interfaccia utente e sono separati dall'elenco dei marcatori personalizzati.

Importante

Non è possibile modificare un punteggio standard direttamente. Clonarlo per creare una nuova versione personalizzata con logica modificata.

Calcolo dei punteggi personalizzato

I punteggi personalizzati consentono di definire la logica di valutazione e di applicarla alle sessioni. Utilizzano un approccio LLM come giudice (valutazione basata su prompt) o una logica basata sulle espressioni per etichettare, calcolare il punteggio o classificare le sessioni in base ai criteri.

Nota

I punteggi personalizzati si creano nei test di nuova generazione (NGT) in Agentforce Studio. Vedere Impostazione ed esecuzione di test in Agentforce Studio (beta). Per ulteriori informazioni, vedere Test Next Gen su Slack.

I punteggi personalizzati vengono eseguiti in base alle sessioni ed evidenziano punteggi e dimensioni personalizzati in Osservabilità.

Funzionamento dei punteggi personalizzati

Un punteggio personalizzato è supportato da un modello di prompt che viene eseguito automaticamente come processo batch al termine della sessione. Dopo l'esecuzione di un punteggio in una sessione, la sessione viene associata a quel punteggio ed etichette e punteggi vengono visualizzati in Ottimizzazione e Analytics.

• Uno scorer è un modello di prompt eseguito su una percentuale configurabile di sessioni (frequenza di esempio).
• I punteggi vengono applicati al termine della sessione, non durante la conversazione live. Le sessioni devono ricevere un'indicazione oraria di fine per l'attivazione dell'azione dati di calcolo del punteggio.
• I risultati vengono visualizzati in Osservabilità come misure personalizzate.
• È anche possibile attivare manualmente i marcatori utilizzando l'azione invocabile executeAgentforceScoresJob.
• I punteggi non influiscono sulla latenza o sulle prestazioni dell'agente durante le conversazioni live poiché il calcolo del punteggio viene eseguito dopo la fine della sessione.

Configurazione scorer

Campi chiave

Regole di convalida

• I scorerApiName non devono già esistere.
• I promptTemplateRef devono esistere ed essere attivi.
• Per il tipo di dati Testo: devono esistere valori scorer; esattamente un valore deve avere isFallback: true; esattamente uno deve avere isSystemFallback: true (solo quando anche isFallback è true).
• Per il tipo di dati Numerico: nessun valore di fallback; i valori devono essere analizzati come valori doppi validi. Se si utilizza valuesSpecification: la step deve essere maggiore di 0; la min deve essere minore di max; la threshold è facoltativa ma deve essere compresa tra min e max.
• Numero massimo di valori scorer: 101.

Tipi di output

• Testo (etichette): il punteggio assegna una di una serie di etichette stringa predefinite a ogni sessione (ad esempio, Risolto, Abbandonato o Inoltrato al livello superiore). Utilizzare per la classificazione categoriale.
• Numerico: il punteggio restituisce un numero in un intervallo definito (ad esempio, 0–5). Adatto alle valutazioni della qualità e ai punteggi continui. Gli LLM in genere funzionano meglio su scale discrete (ad esempio 0–5) rispetto a intervalli ristretti di 0–1.
• Booleano (stretch o future): restituisce true o false. Supportato per i marcatori basati sulle espressioni.

Esecuzione dei punteggi in produzione

Attiva dalla scheda Scorer

Dopo aver creato e testato uno scorer personalizzato, attivarlo dall'hub scorer in Ottimizzazione Agentforce. L'attivazione consente l'esecuzione del punteggio nelle sessioni live alla frequenza di campionamento configurata.

Eseguito dal flusso Salesforce

Viene fornita una nuova azione invocabile, TriggerAgentBulkScoring, per eseguire i marcatori personalizzati in modo asincrono nelle sessioni storiche. Questa azione accetta più sessioni e punteggi ed è accessibile tramite:

• Flusso Salesforce
• API REST
• Apex

Nome azione: TriggerAgentBulkScoring

Note importanti

• Tutti gli ID sessione e i scorerApiNames devono appartenere allo stesso agente.
• Assicurarsi che la versione dello scorer sia Disponibile prima dell'esecuzione.

API REST

Inviare una richiesta POST all'endpoint REST dell'azione standard.

/services/data/v66.0/actions/standard/triggerAgentBulkScoring

Esempio di payload:

{
  "inputs": [
    {
      "inputIds": ["019c9442-b760-7d62-837c-8ab80ecc0fc2"],
      "inputScope": "Session",
      "scorerApiNames": ["language_classifier"]
    }
  ]
}

Utilizzare l'azione invocabile executeAgentforceScoresJob nel flusso. L'azione accetta un elenco di ID sessione e di punteggi e invia un processo alla pipeline di valutazione. Gli usi comuni includono:

• Calcolatori dei punteggi nelle sessioni storiche
• Analisi batch e rapporti personalizzati
• Integrazione con Agentforce Grid

API metadati

Creare e gestire i marcatori personalizzati con l'API dei metadati Salesforce per distribuire i marcatori nei flussi di lavoro pro-code e DevOps, incluse le opportunità in corso di realizzazione CI/CD.

Casi d'uso