觀察階段觀察性工具

工作人員分析

Agent Analytics 是您隨時間監視工作人員績效的位置。它會彙總所有工作階段之間的資料,並在由 Tableau Next 提供的顯示面板集中呈現趨勢。這是任何「觀察」階段問題的起點;在移至工作階段層級工具之前,請先查看這裡以瞭解趨勢。

績效洞察

「績效洞察」是看見趨勢與深入探索工作階段之間的步驟。在開啟「工作人員最佳化」之前,請使用它來依子工作人員、意圖或動作細分任何度量,以便您確實知道要尋找的位置,而非隨機檢閱工作階段

如需設定需求與權限,請參閱 Agent Analytics。

工作人員最佳化

當 Analytics 呈現模式,且您需要瞭解推動模式的原因時,「工作人員最佳化」便是您下一個要前往的位置。其可讓您檢視個別工作人員使用者對話,讓您篩選、瀏覽及開啟特定工作階段以查看實際情況。兩個檢視:

• 已處理工作階段—意圖已解壓、叢集和品質評分。工作階段結束後 4–5 個小時可用。表格欄:工作階段識別碼、時間戳記、持續時間、成果、自訂評分器標籤、意圖摘要、回應摘要、觸發的子工作人員、觸發的動作、意圖標記、品質分數。
• 未處理的工作階段—啟用中、最近或仍在處理中。「追蹤」索引標籤可立即使用,您不需要等待意圖處理才能開始除錯。

意圖叢集是將模式偵測與逐步工作階段檢閱分開的原因。「叢集銷售管道」會每週執行,並在叢集標記累積 10 個或更多符合的意圖時,依語意相似度將類似的意圖分組。叢集形成後,您可以依叢集篩選,以呈現使用者以不同方式提出相同問題的所有工作階段,即識別系統失敗模式的最快路徑,而非逐一檢閱工作階段。

已呈現 KPI:「工作人員影響」和「工作人員效率」成果區域—工作階段層級成果、品質分數和意圖模式。

無法執行的項目:跨工作階段彙總度量 (使用 Analytics);透過電子郵件即時的工作階段不會立即反映。

它會呈現工作階段層級成果、品質分數和意圖模式。請參閱目前工作階段欄與篩選條件的 工作人員最佳化。

互動摘要索引標籤

當您在「工作人員最佳化」中開啟工作階段並選取意圖時,「互動摘要」索引標籤會提供您針對該意圖發生的狀況結構化細目:

• 工作人員名稱、平均工作人員延遲 (毫秒)、互動總數、意圖持續時間
• 已觸發主題 (子工作人員),已觸發動作
• 意圖標記,品質分數 (高/中/低)
• 品質評分推理—由 LLM 產生的解釋為何指派品質評分

品質評分推理是將評分轉換為方向的原因。針對低品質分數,引數欄位通常會以自然語言直接告訴您評估員發現的內容—不正確的子代理程式、不完整的回應、遺漏的指示、無法取用。在您開啟「追蹤」索引標籤之前,這是從「品質不佳」到「以下是要調查的內容」的最快路徑。

在意圖處理完成之前無法使用 (4 到 5 個工作階段後的小時)。如需立即除錯,請從「追蹤」索引標籤開始。

追蹤索引標籤

「追蹤」索引標籤也可從「工作人員最佳化」中的工作階段存取,提供您每個處理步驟的時間排序記錄—子工作人員識別、動作選取、路由、變數更新、提取和回應產生。每個步驟都會顯示狀態指標和時間,且巢狀步驟可針對子工作人員委派展開。

「追蹤」索引標籤是主要根本原因分析工具。每個其他工具都會告訴您哪些項目,例如度量已移動、品質分數已掉落或工作階段失敗。「追蹤」索引標籤會告訴您何處和原因,包括失敗的步驟、錯誤訊息為何、花費的時間為何,以及所傳回取用。

步驟類型:意圖處理、子代理程式路由、篩選、提取、變數更新和動作執行。每個步驟都有開始和結束時間戳記和 ErrorMessageText。針對多重工作人員 (SOMA) 部署,請展開任何叫用子工作人員以逐層細分至巢狀步驟的步驟。

處理錯誤:透過 SOQL 在 AiAgentInteractionStepDmo__dlm 上查詢 ErrorMessageText,並篩選出 sentinel 值 (NOT_SET、無、空白字串),以隔離實際錯誤。

已呈現 KPI:「工作人員健康狀態」結果區域步驟層級延遲、錯誤位置和執行順序。

立即可用,即使是未處理的工作階段也是如此。如果您現在需要除錯,請不要等待意圖處理。

工作人員健康監視

「工作人員健康監視」會偵測到無訊息的工作人員失敗,例如高峰的錯誤率、高延遲或掉落的回應率,並以近乎即時的時間通知您,然後這些失敗會變成客戶影響。當工作人員分析呈現隨時間的趨勢時,「健康監視」是針對快速回應而設計:設定對部署而言十分重要的度量上限、在其違規時收到通知,並逐層細分至工作階段追蹤以尋找原因。

這些度量也會在 Agent Analytics 的「健康」子索引標籤中視覺化。

警示

每個警示都會監視一個工作人員的一個度量。系統會根據前 15 分鐘的資料,每分鐘評估警示,並在超過值時傳送電子郵件通知。通知觸發後,相同警示會暫停 30 分鐘,才能再次通知。

通知會將警示直接連結至觸發警示的工作階段。每個通知都會顯示受影響的工作階段,因此您無須搜尋即可直接前往追蹤。如需設定需求和權限,請參閱「監視工作人員健康狀態」。

監視工作人員護欄

「監視工作人員護欄」可讓您專注於指示符合度與工作解決方案的檢視,而「Trust層」輸出會呈現為專屬監視度量,與更廣泛的 Analytics 檢視分開。針對監護列合規是追蹤需求的部署—受監管的產業、企業原則強制執行、品牌安全—這可讓您在單一位置取得指示符合度與工作解決趨勢,而不包括效能與品質訊號。

已呈現 KPI:「工作人員健康狀態」結果區域—指示符合度與工作解決方案。

請參閱 監視工作人員護欄以取得目前度量。

監視您的 Voice 啟用工作人員

針對語音部署,上司可以透過 Omni Supervisor (Service Cloud 主控台) 中的 Agentforce 索引標籤即時監視進行中的通話。這與 Analytics 中的「語音」索引標籤不同,其會顯示歷程記錄彙總資料—Omni Supervisor 用於觀看即時活動,而非檢閱過去的工作階段。

Omni Supervisor 中的 Agentforce 索引標籤會顯示已啟用通話與即時通話文字記錄的工作人員清單。其可透過 Service Cloud 主控台存取,而非 Agentforce Studio。

已呈現 KPI:「工作人員健康」結果區域—即時通話狀態與文字記錄,即時非歷程記錄。請參閱 監視您已啟用語音的工作人員以取得設定和上司組態。

Data 360 查詢編輯器與報告

針對產品 UI 未回答的問題,Data 360 查詢編輯器可提供您基本資料的直接 SQL 存取權。使用 DMO (資料的語意進入點) 查詢四個圖層:STDM、稽核與回饋意見、RAG 品質和工作人員最佳化工具。

您也可以在 Data 360 中建立報告,以從適用的 DMO 提取相關資訊。若要深入瞭解 (包括必要權限),請參閱 Data 360 報告和顯示面板。

工作階段追蹤資料模型 (STDM) DMO:

• AiAgentSessionDmo — 工作階段層級實情:管道類型、工作階段結束類型、相關語音/傳訊工作階段識別碼
• AiAgentSessionParticipantDmo — 加入者:連絡人、商機、使用者、工作人員 API 名稱
• AiAgentInteractionDmo — 一輪;包含 TopicApiName (由子工作人員處理)
• AiAgentInteractionStepDmo—一個具有開始和結束時間戳記和 ErrorMessageText 的離散步驟
• AiAgentInteractionMessageDmo — 實際輸入/輸出文字

稽核與回饋意見 DMO:

• GenAiGatewayRequest—傳送至 LLM 的提示與內容
• GenAiGatewayResponse — LLM 的回應
• GenAiResponseGeneration—產生層級中繼資料
• GenAiFeedback — 使用者回饋意見訊號
• GenAiContentQuality — 品質評估分數
• GenAiContentQualityCategory — 內容種類分類

RAG 品質:

• AIRetrieverRequest (DLO)—傳送至 Knowledge 來源的提取查詢
• AIRetrieverResponse (DLO) — 已傳回提取的內容
• AIRetrieverQualityMetric (DMO) — 回答忠誠度、回答相關性和內容相關性分數

針對「工作人員最佳化工具」物件,請參閱「工作人員最佳化」資料模型。

已呈現 KPI:所有成果區域—從所有四個基礎結構層級的原始資料衍生的任何 KPI。

下一步是將它們連接至表面。您已定義工作人員的成功樣式,並瞭解工具鏈會呈現的內容。現在,工作正在建立計畫,將您的成果區域對應至正確的訊號,並將正確的訊號對應至正確的工具。該計畫會將可觀察性從一組功能轉為可重複的實作。