瞭解 Agentforce 可觀察性 KPI 與工具
可觀察性不是單一工具。這是一個分層的工具鏈,其中包含基礎結構,可用來捕捉工作人員活動、測試工作人員預先部署的開發工具,以及在部署後顯示趨勢和工作階段層級詳細資料的監視工具。
必要版本
| 提供版本：Lightning Experience |
| 提供版本：Enterprise、Performance、Unlimited 及 Developer Edition。所需附加元件授權會因工作人員類型而有所不同。 |
瞭解哪個層會執行這些動作,讓您的工作人員在生產環境中無法觀察。此文章會對應完整的工具鏈,每個區段都會連結至更多詳細資料。
基礎結構
在任何可觀察性工具能夠顯示或處理資料之前,這些工具需要基本的工作人員距離測試基礎結構。啟用這些工具,讓其他工具鏈擁有要使用的資料。
| 工具 | 顯示的位置 | 描述 |
|---|---|---|
| Agentforce 工作階段追蹤 | 設定 → Agentforce → Agentforce 工作階段追蹤 | 針對每個工作人員工作階段的每個輪數、推斷步驟、動作和訊息進行錄製。必須先啟用此功能,其他任何可觀察性工具才能取得資料。 |
| 工作人員平台追蹤 | 設定 → 快速尋找 → Einstein 生成式 AI → Einstein 稽核、分析和監視設定 → 工作人員平台追蹤切換開關 | 跨 Atlas 推理引擎、Apex、流程、提示詞產生器、可叫用動作、AI Gateway、LLM Gateway 和 DC 查詢聯邦器的服務層級遠端測試。 |
| 稽核和回饋意見 | 設定 → 快速尋找 → Einstein 稽核 → Einstein 稽核、分析和監視設定 | 捕捉 LLM 輸入/輸出、提取品質資料、Trust 評估、護欄輸出,以及使用者回饋意見訊號。強化工作人員 Analytics 的品質評分和Trust度。 |
| Knowledge/RAG 品質資料與度量 | 設定 → 快速尋找 → Einstein 稽核 → Einstein 稽核、Analytics 和監視設定 → Knowledge/RAG 品質資料與度量 | 如「回答忠誠度」、「回答關聯性」、「內容關聯性」等的檢索評分品質,會透過「稽核」與「回饋意見」管道處理。強化「品質分數」中的取用度量。 |
| Trust 圖層 | 設定 → 快速尋找 → Einstein → Einstein Trust 圖層 | 透過「稽核」與「回饋意見」管道處理,評分衍生自 LLM Gateway 輸出的指示符合度與毒性。在 Agent Analytics 中增強 Trust 度量。 |
逐層細分至 Agentforce 觀察性基礎結構中的每個工具。
建立與測試
建立與測試工具可讓您在生產流量存在之前,在開發期間觀察工作人員行為。
| 工具 | 顯示的位置 | 描述 |
|---|---|---|
| Agentforce 產生器 | Agentforce Studio → 產生器 | 重複工作人員開發和測試的主要工作區。在「模擬」模式中執行交談,而不寫入資料,或對照實際資料端對端進行「即時測試」模式。 |
| 互動摘要 | Agentforce Studio → 產生器 → 預覽面板 | 顯示測試對話的子工作人員選取、動作執行和推理。逐步細分任何項目以取得時間和子工作人員轉換。 |
| 測試中心 | Agentforce Studio → Agentforce 測試中心 | 在部署前批次評估 Knowledge 提取、子代理程式和動作選取,以及工作解決方案。使用預設、品質和自訂評分器產生並評分測試套件中的說話方式。自訂評分在 Agent Analytics 中呈現後續部署。 |
在 建立和測試可觀察性工具中逐層細分這些工具。
觀察
部署工作人員後,「觀察」階段工具會追蹤所有工作階段的趨勢,因此您可以調查特定對話並逐層細分至步驟級詳細資料。
| 工具 | 顯示的位置 | 描述 |
|---|---|---|
| Agent Analytics | Agentforce Studio → 觀察和最佳化 → Analytics | 彙總所有工作階段的績效資料,並在 Tableau Next 顯示面板中依成果區域呈現趨勢。索引標籤會因工作人員類型而有所不同,並涵蓋效率、用量、品質、健康狀況、Trust 和語氣。 |
| 工作人員最佳化 | Agentforce Studio → 觀察和最佳化 → 最佳化 | 依意圖、成果和品質分數篩選的個別工作階段檢視。「已處理工作階段」包含意圖叢集和品質分數;未處理的工作階段可立即使用。 |
| 互動摘要 | Agentforce Studio → 觀察和最佳化 → 最佳化工作階段詳細資料 | 所選意圖的結構化細目,顯示觸發的子工作人員、觸發的動作、品質分數,以及 LLM 產生的品質分數推理。 |
| 追蹤 | Agentforce Studio → 觀察和最佳化 → 最佳化工作階段詳細資料 | 每個處理步驟的時間排序記錄,包含每個步驟的時間和錯誤文字。立即可用,包括正在處理的工作階段。 |
| 工作人員健康狀況 | Agentforce Studio → 警示 | 您可以建立警示並設定值,以便在工作人員活動違反可接受的層級時通知您。 |
| 監視工作人員護欄 | Agentforce Studio → 觀察和最佳化 | 指示符合度與工作解決趨勢的專用檢視,與較廣泛的 Analytics 檢視分開。 |
| 監視您 Voice 啟用的工作人員 | Omni Supervisor 中的 Agentforce 索引標籤 (Service Cloud 主控台) | 具有即時文字記錄的已啟用語音通話近乎即時上司檢視。 |
| Data 360 查詢編輯器 | Data 360 → 查詢 | 針對自訂彙總、跨物件聯結,以及產品 UI 未呈現的分析,直接 SQL 存取所有四個基本資料層。 |
在「觀察階段可觀察性工具」中逐層細分這些工具。
工具鏈的運作方式最好。從「基礎結構」開始確保資料正在流動、使用「建立與測試」在部署前找出問題,並使用「觀察」追蹤效能並在部署後調查。
此文章是否解決您的問題？
請讓我們知道，以便我們改進！
