提示範本批次處理

概觀

批次處理會在單一要求中非同步地產生大量提示回應。此方法可協助您避免達到 LLM 速率限制,並有效處理大量內容產生。

系統會將您的批次工作排入排隊、處理所有項目,並儲存結果。您可以監視工作的進度,並在準備就緒時取回完成的回應。實際完成時間取決於模型提供者,且可能有所不同。

常見使用個案包括:

• 為數千個客戶建立個人化的電子郵件行銷活動。
• 從目錄資料產生產品描述。
• 摘要大量個案備註或客戶回饋意見。
• 在多個記錄之間翻譯內容。
• 依排程或依記錄變更觸發大量內容產生。

實作選項

Salesforce 提供兩種主要方法來實作批次處理:

流程

此方法適用於大多數使用個案,且最適用於 Salesforce 管理員建立無程式碼解決方案。在「排程觸發」或「記錄觸發流程」中使用「提示範本 (批次產生)」動作,以建立自動執行的批次工作。這些流程包含「已完成」與「逾時」路徑,可讓您以不同的方式處理成功完成與逾時情況。

限制:

• 流程批次工作通常會在提交後的兩個小時內開始處理。
• 標準模型每天最多 10,000 個產生。
• 如果使用支援原生批次處理的模型,則每天最多可產生 50,000 個。
• 使用 WebSearch Retrievers 時,每小時最多 1,000 個項目。

Apex

此方法提供自訂整合和自動化的最大彈性。使用 AiJobRun 和 AiJobRunItem 物件以程式設計的方式建立和管理批次工作。當您想要:

• 建立自訂 UI。例如：啟動工作的按鈕,或列出批次工作的顯示面板。
• 動態控制批次大小 (累積項目直到計數或時限,然後開始)。
• 從非記錄觸發或排程為基礎的外部事件觸發。

限制:

• 每個 AiJobRun 最多 1,000 個 AiJobRunItems。
• 如果使用支援原生批次處理的模型,則每個 AiJobRun 會有 10,000 個 AiJobRunItems 的限制。
• 使用 WebSearch Retrievers 時,每小時最多 1,000 個項目。
• 24 小時內最多 5 個 AiJobRun 物件。如果您的要求超過每日限制,則在限制重設之前,會將其置於已排入的狀態。

最佳作法

選取正確的模型:

• 使用標記為「批次支援」的模型:提示詞產生器中的「是」以獲得最快的處理速度。
• 請避免使用批次的迷你模型,因為其速度明顯慢。

大小化批次:

• 大於更好。工作數量是限制因素,而非這些工作的項目。200 和 2,000 批次的完成時間大約相同。
• 一或多個失敗的項目不會封鎖剩餘批次。

選取正確的實作:流程與 Apex:

• 除非您需要自訂 UI 來開始工作、動態批次大小、或非記錄與非排程觸發。

設計您的流程:

• 每個流程僅執行一個批次動作。鏈結的批次動作會排序並大幅增加執行階段。
• 盡可能將提示合併至單一範本。
• 將逾時設定為 1 天。

監視工作進度:

• 查詢 AiJobRun 和 AiJobRunItem 以取得狀態、項目計數、錯誤和回應。
• 訂閱 AiJobRunStatusEvent 以取得以事件為導向的工作流程。

限制與考量事項

先決條件

• 指定的提示範本必須有已啟用的版本。
• 針對流程:必須在「流程自動化設定」中設定「預設工作流程使用者」。

處理行為

• 根據建立日期依照時間順序排列的工作流程。
• 以秒為單位建立的工作可能不會遵循嚴格的順序。
• 處理開始後,輸入值和特定欄位會變成固定的。
• 工作狀態變更是由系統管理,無法手動變更。
• 完成時間取決於模型提供者,且可能有所不同。

平台考量事項

• 批次處理為非同步,且結果不是立即的。
• 設定適當的逾時長度。針對「流程」批次工作建議一天。
• 透過平台事件或查詢工作記錄來監視工作狀態。
• 規劃設計時敏感時間的工作流程處理時間。
• 考慮針對批次內失敗的項目回復處理。