Vaiheiden observaatioiden työkalut

Agenttien Analytics

Agent Analytics on paikka, josta voit valvoa agenttiesi suorituskykyä ajan myötä. Se kerää dataa kaikista istunnoista ja näyttää trendejä Tableau Nextin tarjoamissa mittaristoissa. Tämä on lähtökohta kaikille Observe-vaiheessa oleville kysymyksille. Tutustu tähän ensin ymmärtääksesi, mitä trendejä on ennen kuin siirryt istuntotason työkaluihin.

Suorituskykyhavainnot

Suorituskykyhavainnot on vaihe trendin tarkastelemisen ja istuntojen suorittamisen välillä. Ennen kuin avaat Agentin optimointi -ominaisuuden, käytä sitä erottaaksesi kaikki tilastot alitason agentin, tarkoituksen tai toiminnon mukaan, jotta tiedät tarkalleen, mistä etsiä sitä sen sijaan, että tarkastelisit istuntoja satunnaisesti.

Lisätietoja määritysten vaatimuksista ja käyttöoikeuksista on kohdassa Agent Analytics.

Agentin optimointi

Kun Analytics paljastaa kuvion ja sinun täytyy ymmärtää, mikä sitä edustaa, agenttien optimointi on seuraava vaihe. Se tarjoaa sinulle näkymän yksittäisiin agenttien ja käyttäjien keskusteluihin — jolloin voit suodattaa, selata ja avata tiettyjä istuntoja nähdäksesi, mitä oikeasti tapahtui. Kaksi näkymää:

• Käsitellyt istunnot — Tarkoitus noudettu, klusteroitu ja laatu pisteytetty. Saatavilla 4-5 tuntia istunnon sulkemisen jälkeen. Taulukkosarakkeet: Istunnon tunnus, aikaleima, kesto, lopputulos, mukautetut pisteytysotsikot, tarkoituksen yhteenveto, vastauksen yhteenveto, käynnistetyt alitason agentit, käynnistetyt toiminnot, tarkoituksen tunniste, laatupisteet.
• Käsittelemättömät istunnot — aktiivinen, viimeaikainen tai yhä käsiteltävänä. Seuranta-välilehti on käytettävissä välittömästi — sinun ei tarvitse odottaa tarkoitusten käsittelyä aloittaaksesi virheenkorjauksen.

Tarkoitusten klusterointi erottaa kuviokuvion havainnon istunnon tarkastuksesta. Klusterointiputki suoritetaan viikoittain ja ryhmittää samankaltaisia tarkoituksia semanttisen samankaltaisuuden perusteella, kun klusteritunniste kerää vähintään 10 vastaavaa tarkoitusta. Kun klusterit on muodostettu, voit suodattaa klusterin perusteella näyttämään kaikki istunnot, joissa käyttäjät ovat kysyneet samaa asiaa eri tavoin — mikä on nopein tapa tunnistaa järjestelmällisiä virhekuvioita istuntojen tarkastamisen sijaan yksi kerrallaan.

KPI-mittarit näkyvissä: Agentin vaikutus- ja Agent Effectiveness -lopputulosalueet — istuntotason lopputulos, laatupisteet ja tarkoituskuviot.

Mitä se ei voi tehdä: Aggregoi istuntojen tilastoja (käytä Analyticsia); istuntoja ei näytetä sähköpostitse reaaliajassa välittömästi.

Se esittää istuntotason lopputulokset, laatupisteet ja tarkoituskuviot. Katso tämänhetkisten istuntojen sarakkeet ja suodattimet kohdasta Agentin optimointi.

Vuorovaikutuksen yhteenveto -välilehti

Kun avaat istunnon Agent Optimizationissa ja valitset tarkoituksen, Vuorovaikutuksen yhteenveto -välilehti tarjoaa sinulle rakenteellisen erittelyn siitä, mitä tarkoitukselle on tapahtunut:

• Agentin nimi, agentin keskiarvoinen viive (ms), vuorovaikutusten kokonaismäärä, tarkoituksen kesto
• Aiheet (alat agentit) käynnistetyt, toiminnot käynnistetyt
• Tarkoituksen tunniste, laatupisteet (korkea/keskitaso/pieni)
• Laadun pisteytyksen perustelut — LLM:n luoma selitys, miksi laatupisteet kohdistettiin

Laadun pisteytyksen perustelut muuntavat pistemäärän suuntaan. Jos laatupisteytys on heikko, perustelu-kenttä kertoo sinulle usein suoraan, mitä arvioija löysi — virheellinen alaagentti, puutteellinen vastaus, puuttuva ohje, nouto epäonnistui — luonnollisella kielellä. Se on nopein polku "laatu on heikko" -kentästä "tätä tutkitaan", ennen kuin avaat Seuranta-välilehden.

Se ei ole käytettävissä ennen kuin tarkoitus on käsitelty (4–5 tuntia istunnon jälkeen). Aloita vianmääritys välittömästi Seuraa-välilehdestä.

Seuraa-välilehti

Seuranta-välilehti on käytettävissä myös agenttien optimoinnin istunnosta, ja se tarjoaa sinulle kunkin käsittelyn vaiheen ajastetun tietueen — eli ala-agenttien tunnistuksen, toiminnon valinnan, reitityksen, muuttujien päivitysten, haun ja vastausten generoinnin. Jokainen vaihe näyttää tilan osoittimen ja ajoituksen, ja sisäkkäisiä vaiheita voidaan laajentaa alitason agenttien delegoinnille.

Seuraa-välilehti on ensisijainen juurisyyn analysointityökalu. Kaikki muut työkalut kertovat sinulle mitä tapahtuu, esimerkiksi tilasto on siirretty, laatupisteet on laskettu tai istunto epäonnistui. Seuranta-välilehti kertoo sinulle missä ja miksi, mukaan lukien mikä vaihe epäonnistui, mikä virheviesti oli, missä aika vietiin ja mitä nouto palautti.

Vaiheen tyypit: tarkoitusten käsittely, alitason agenttien reititys, suodattimet, noudot, muuttujien päivitykset ja toimintojen suoritus. Jokaisella vaiheella on alkamis- ja päättymisajan aikaleimat sekä ErrorMessageText. Jos käytät usean agentin (SOMA) käyttöönottoja, laajenna kaikki vaiheet, joissa alitason agenttia kutsuttiin keskittymään sisäkkäisiin vaiheisiin.

Virheiden työstäminen: Kysele AiAgentInteractionStepDmo__dlm-tiedostoon ErrorMessageText SOQL:n kautta ja suodata sentinel-arvot (NOT_SET, Ei mitään, tyhjä merkkijono) eristääksesi todelliset virheet.

KPI-mittarit näkyvissä: Agentin tilan lopputulosalueen vaihetason viive, virheen sijainti ja suoritusjärjestys.

Saatavilla välittömästi, jopa käsittelemättömille istunnoille. Älä odota tarkoitusten käsittelyä, jos sinun täytyy tehdä virheenkorjaus juuri nyt.

Agentin terveysvalvonta

Agentin terveysvalvonta havaitsee agenttien hiljaiset virheet, kuten suuret virhesuhteet, pitkä viive tai vastaussuhteiden lasku, ja ilmoittaa sinulle lähes reaaliajassa ennen kuin ne vaikuttavat asiakkaisiin. Kun Agent Analytics paljastaa trendejä ajan myötä, Health Monitoring on suunniteltu nopeaa vastausta varten: määritä kynnysarvot käyttöönottosi tärkeille tilastoille, saa ilmoituksia niiden rikkomisesta ja tarkasta istuntojen jäljet löytääksesi syyn.

Nämä tilastot näytetään myös Agent Analyticsin Health-alavälilehdessä.

Hälytykset

Jokainen hälytys valvoo yhtä tilastoa yhdelle agentille. Järjestelmä arvioi hälytykset joka minuutti edellisen 15 minuutin datan perusteella ja lähettää sähköposti-ilmoituksen kynnysarvon ylittymisestä. Kun ilmoitus käynnistyy, sama hälytys keskeytetään 30 minuuttia ennen kuin se voi ilmoittaa uudelleen.

Ilmoitukset linkittävät hälytyksen suoraan sen käynnistäneisiin istuntoihin. Jokainen ilmoitus näyttää asiaankuuluvan istunnon, jotta voit siirtyä suoraan jäljitykseen ilman hakua. Lisätietoja määritysten vaatimuksista ja käyttöoikeuksista on kohdassa Agentin tilan valvonta.

Agenttien suojien valvonta

Agent Guardrails tarjoaa sinulle keskitetty näkymän ohjeiden noudattamisesta ja tehtävien ratkaisemisesta — Trust tulokset näytetään erillisinä valvontatilastoina, erillään laajemmasta Analytics-näkymästä. Käyttöönotot, joissa suojausrivin vaatimustenmukaisuus on seurattava vaatimus — säännellyt toimialat, yritysten käytäntöjen noudattaminen, brändäyksen turvallisuus — tämä tarjoaa sinulle ohjeiden noudattamisen ja tehtävien ratkaisun trendit yhdessä paikassa, erillään suorituskyvyn ja laadun signaaleista.

KPI-mittarit näkyvissä: Agentin kunto -lopputulosalue — ohjeiden noudattaminen ja tehtävien ratkaisu.

Katso tämänhetkiset tilastot kohdasta Monitor Agent Guardrails.

Voicea käyttävän agenttisi valvonta

Jos käytät Voice-käyttöönottoja, valvojat voivat valvoa aktiivisia puheluita reaaliajassa Omni Supervisorin Agentforce (Service Cloud -konsoli). Tämä eroaa Analyticsin Voice-välilehdestä, joka näyttää historiallisia aggregaattitietoja — Omni Supervisor on tarkoitettu live-toimintojen tarkastelemiseen, eikä menneiden istuntojen tarkastelemiseen.

Omni Supervisorin Agentforce näytetään aktiivisten puheluiden ja live-puhelulokien agenttien luettelo. Sitä käytetään Service Cloud -konsolista, ei Agentforce Studiosta.

KPI-mittarit näkyvissä: Agentin kunto -lopputulosalue — Live-puhelun tila ja keskusteluloki, reaaliaikainen, ei historiallinen. Lisätietoja määritysten ja valvojien kokoonpanosta on kohdassa Monitor Your Voice-enabled Agent.

Data 360 -kyselyeditori ja raportit

Data 360 -kyselyeditori tarjoaa sinulle suoran SQL-käyttöoikeuden sen perustana olevaan dataan kysymyksiin, joihin tuotteen käyttöliittymä ei vastaa. Kysele käyttämällä DMO-organisaatioita — semanttista syöttöpistettä dataan — kaikissa neljässä kerroksessa: STDM, Audit & Feedback, RAG Quality ja Agent Optimizer.

Voit myös laatia Data 360 -raportteja, jotka noutavat asiaankuuluvia tietoja asiaankuuluvista DMO-organisaatioista. Lisätietoja, mukaan lukien pakolliset käyttöoikeudet, on kohdassa Data 360 -raportit ja -mittaristot.

Istunnon jäljittämisen datamallin (STDM) DMO-organisaatiot:

• AiAgentSessionDmo — Istuntotason faktat: kanavan tyyppi, istunnon päättymisen tyyppi, asiaan liittyvät ääni/viesti-istuntojen tunnukset
• AiAgentSessionParticipantDmo — joka liittyi: yhteyshenkilö, liidi, käyttäjä, agentin API-nimi
• AiAgentInteractionDmo — yksi kierros; sisältää TopicApiName (joka agentista käsitteli sen)
• AiAgentInteractionStepDmo — yksi erillinen vaihe, jossa on alkamis- ja päättymisajan aikaleimat ja ErrorMessageText
• AiAgentInteractionMessageDmo — Todellinen input/output-teksti

Auditointi- ja palauteorganisaatiot:

• GenAiGatewayRequest — LLM:ään lähetettävä kehote ja asiayhteys
• GenAiGatewayResponse — LLM:n vastaus
• GenAiResponseGeneration — Generoinnin tason metadata
• GenAiFeedback — käyttäjien palautteen signaalit
• GenAiContentQuality — Laadun arvioinnin pisteet
• GenAiContentQualityCategory — sisältökategorian luokitukset

RAG-laatu:

• AIRetrieverRequest (DLO) — Knowledge-lähteelle lähetettävä noutokysely
• AIRetrieverResponse (DLO) — noudettu konteksti palautettu
• AIRetrieverQualityMetric (DMO) — Vastauksen uskollisuuden, vastauksen relevanttiuden ja asiayhteyden relevanttiuden pisteet

Lisätietoja Agent Optimizerin objekteista on kohdassa Agentin optimoinnin datamalli.

KPI-mittarit näkyvissä: Kaikki lopputulosalueet — Mikä tahansa KPI, joka voidaan luoda raakadasta kaikista neljästä infrastruktuuritasosta.

Seuraava vaihe on yhdistää ne pintoihin. Olet määrittänyt, miltä agenttisi näyttää menestyneenä, ja tiedät mitä työkaluketju voi näyttää. Nyt työ on rakentamassa suunnitelmaa, joka kartoittaa lopputuloksen alueet oikeisiin signaaleihin ja oikeat signaalit oikeisiin työkaluihin. Tämä suunnitelma muuttaa havaittavuuden ominaisuuksista toistuvaan käytäntöön.