最佳化和測試語意模型
建立、增強和測試語意模型是一種反覆的流程,而非線性流程。當您定義和精簡語意模型時,您可以使用「語意模型產生器」中提供的各種回饋意見機制進行增量調整。當您微調方法時,每個改善都會帶來更好的作業成果。
必要版本
| 檢視支援的版本。 |
| 所需的使用者權限 | |
|---|---|
| 若要使用「語意 AI 模型最佳化」和「問與答校正」: | Tableau Unmetered Admin 或 Tableau Next Admin 或 Tableau Unmetered Platform Analyst 或 Tableau Next Platform Analyst |
- 透過回應清單最佳化
定義語意模型時,請使用「語意模型產生器」中的最佳化工具,將您組織的獨特智慧直接內嵌在模型中。
- 測試
將 Concierge 準備好供貴組織使用時,您會想要透過測試、分析、精簡和重新測試預期的問題,或透過手動反覆測試程序 (或兩者) 來確保工作人員的品質和準確性。
最佳化 AI 的語意模型
使用「語意模型 AI 最佳化」(Beta 版) 來限定模型,並協助分析工作人員深入瞭解您的業務。您提供的內容輸入會作為工作人員推理的重要護欄。
「語意 AI 模型最佳化」會對您的語意模型執行一系列的自動檢查,並計算整體模型健康狀況以取得 AI 整備。
測試語意模型的準確性和瞭解性
測試是準備用於 Concierge 的語意模型不可或缺的一部分。您有兩個選項可在 Concierge 中測試問題。
- 使用問與答校正儲存「已驗證問題」(測試、分類和校正)
- 手動測試大型問題集
使用問與答校正儲存「已驗證問題」
問與答校正 (Beta 版) 是測試服務台中基本問題的良好起點。使用問與答校正來測試、分類和校正問題。您編譯並儲存的已驗證問題清單可改善工作人員對於類似問題的準確度。
- 收集範例問題
收集來自業務使用者的問題、使用您自己的體驗,或讓 LLM 產生可能查詢的清單。
- 測試與分析
當您在「問與答校準」中使用「服務台」測試問題時,請分析工作人員的績效,包括其查詢邏輯,以及您組織需求的回應準確度。評估回應是否符合使用者的需求,並符合他們在組織中談論業務和資料的方式。
- 分類
將回應分類為「已驗證」或「不準確」。當回應不準確時,請調查原因。它使用了什麼查詢?查詢的哪些部分錯誤?
- 校正
在語意模型中進行增量變更。透過更新業務偏好設定、欄位和計算來校正語意模型。
- 重試和精簡
在 Concierge 中再次詢問問題。請觀察這些增量變更對服務台回應準確性的影響。
針對大型問題集使用手動測試
當您有大量的問題要測試時,請在支援的 Tableau Next 畫面中直接在 Concierge 中測試問題。使用試算表來記錄每個問題和回應結果。透過連續的測試和精簡週期改善準確度。
- 收集範例問題
您的業務使用者想要詢問什麼?收集使用者的問題、使用您自己的體驗,或使用 LLM 產生可能查詢的清單。
- 測試與分析
使用這些初始問題作為開發語意模型的指引。在試算表中記錄問題、回應、不準確情況和改善的想法。
在 Concierge 中根據 Tableau Next 中的語意模型測試您的範例問題。觀察工作人員回應不正確的位置,然後嘗試瞭解工作人員的差距以及您可能需要增強模型的位置。
分析模型是否完成。是否產生您預期的查詢?在 Concierge 中開啟「疑難排解資訊」詳細資料,以檢閱查詢邏輯。查詢的哪些部分不正確?
- 診斷
假設回應或邏輯可能不準確的原因。您可以對語意模型進行哪些變更以改善回應?在此階段中識別遺漏或不正確的資料、遺漏或不正確的欄位、遺漏的計算和維度,以及不正確的字詞。新增業務偏好設定或描述是否可以改善回應?
- 精簡與重試
請先根據測試洞察持續精簡模型,然後再向試用使用者群組推出模型以取得持續的回饋意見。進行您認為有幫助的變更,並重新測試相同的問題。記錄回應,並判斷是否改善準確度或需要更精簡。繼續此流程,直到您的問題清單的回應正確為止。
當您發現具有準確回應的常見問題時,請考慮在「問與答校正」中新增這些問題,並將其標記為「已驗證」。這可協助工作人員以針對您組織量身打造的語言更精確地學習並回應類似問題。
