Batch-Verarbeitung der Aufforderungsvorlage

Übersicht

Die Batch-Verarbeitung generiert eine große Anzahl von Aufforderungsantworten asynchron in einer einzelnen Anforderung. Dieser Ansatz hilft Ihnen, das Erreichen von LLM-Ratenobergrenzen zu vermeiden und die Erstellung von Inhalten mit hohem Volumen effizient zu verarbeiten.

Das System stellt Ihren Batchauftrag in die Warteschlange, verarbeitet alle Elemente und speichert die Ergebnisse. Sie können den Fortschritt des Auftrags überwachen und abgeschlossene Antworten abrufen, wenn Sie bereit sind. Die tatsächliche Abschlusszeit hängt vom Modellanbieter ab und kann variieren.

Allgemeine Anwendungsfälle:

• Erstellen personalisierter E-Mail-Kampagnen für Tausende von Kunden.
• Generieren von Produktbeschreibungen aus Katalogdaten.
• Zusammenfassen großer Mengen an Kundenvorgangsnotizen oder Kundenfeedback.
• Übersetzen von Inhalten über mehrere Datensätze hinweg.
• Auslösen der Masseninhaltsgenerierung nach einem Zeitplan oder durch Datensatzänderungen.

Implementierungsoptionen

Salesforce bietet zwei primäre Methoden zum Implementieren der Batchverarbeitung:

Flow

Dieser Ansatz funktioniert für die meisten Anwendungsfälle und eignet sich am besten für Salesforce-Administratoren, die No-Code-Lösungen erstellen. Verwenden Sie die Aktion "Aufforderungsvorlage (Batch-Generierung)" in einem durch einen Zeitplan oder Datensatz ausgelösten Flow, um Batchaufträge zu erstellen, die automatisch ausgeführt werden. Diese Flows enthalten Pfade vom Typ "Abgeschlossen" und "Zeitüberschreitung", sodass Sie erfolgreiche Abschluss- und Zeitüberschreitungsszenarien unterschiedlich handhaben können.

Obergrenzen:

• Flow-Batchaufträge werden in der Regel innerhalb von zwei Stunden nach der Einreichung verarbeitet.
• Bis zu 10.000 Generationen pro Tag für Standardmodelle.
• Bei Verwendung von Modellen, die die native Batchverarbeitung unterstützen, bis zu 50.000 Generationen pro Tag.
• Bis zu 1.000 Elemente pro Stunde bei Verwendung von WebSearch Retrievers.

Apex

Dieser Ansatz bietet maximale Flexibilität für die benutzerdefinierte Integration und Automatisierung. Verwenden Sie die Objekte AiJobRun und AiJobRunItem, um Batchaufträge programmgesteuert zu erstellen und zu verwalten. Apex wird in folgenden Fällen empfohlen:

• Erstellen Sie eine benutzerdefinierte Benutzeroberfläche. Beispiel: eine Schaltfläche, die einen Auftrag startet, oder ein Dashboard, in dem Batchaufträge aufgelistet werden.
• Steuern Sie die Batchgröße dynamisch (Sammeln von Elementen bis zu einer Anzahl oder einem Zeitschwellenwert und dann Starten).
• Auslöser von externen Ereignissen, die nicht durch einen Datensatz ausgelöst werden oder auf einem Zeitplan basieren.

Obergrenzen:

• Bis zu 1.000 AiJobRunItems pro AiJobRun.
• Bei Verwendung von Modellen, die die native Batchverarbeitung unterstützen, gilt eine Obergrenze von 10.000 AiJobRunItems pro AiJobRun.
• Bis zu 1.000 Elemente pro Stunde bei Verwendung von WebSearch Retrievers.
• Bis zu 5 AiJobRun-Objekte in 24 Stunden. Wenn Ihre Anforderungen die tägliche Obergrenze überschreiten, werden sie in eine Warteschlange gestellt, bis die Obergrenze zurückgesetzt wird.

Bewährte Methoden

Wählen Sie das richtige Modell aus:

• Verwenden Sie ein Modell mit der Bezeichnung "Batch unterstützt: Ja im Eingabeaufforderungsgenerator für die schnellste Verarbeitung.
• Vermeiden Sie Mini-Modelle für Batches, da sie deutlich langsamer sind.

Größe Ihrer Batches:

• Größer ist besser. Die Anzahl der Aufträge ist der begrenzende Faktor, nicht die Elemente in diesen Aufträgen. Batches von 200 und 2.000 werden in etwa der gleichen Zeit abgeschlossen.
• Ein oder mehrere fehlgeschlagene Elemente blockieren den Rest des Batches nicht.

Wählen Sie die richtige Implementierung aus: Flow vs. Apex:

• Verwenden Sie Flow, es sei denn, Sie benötigen eine benutzerdefinierte Benutzeroberfläche zum Starten von Aufträgen, eine dynamische Batchgröße oder Auslöser, die keine Datensätze oder Pläne enthalten.

Entwerfen Sie Ihren Flow:

• Führen Sie nur eine Batch-Aktion pro Flow aus. Verkettete Batch-Aktionen stehen in der Warteschlange und erhöhen die Laufzeit erheblich.
• Kombinieren Sie Eingabeaufforderungen nach Möglichkeit in einer einzigen Vorlage.
• Legen Sie die Zeitüberschreitung auf 1 Tag fest.

Überwachen des Auftragsfortschritts:

• Fragen Sie AiJobRun und AiJobRunItem nach Status, Anzahl der Elemente, Fehlern und Antworten.
• Abonnieren Sie AiJobRunStatusEvent für ereignisgesteuerte Workflows.

Einschränkungen und Überlegungen

Voraussetzungen

• Die angegebene Aufforderungsvorlage muss über eine aktive Version verfügen.
• Für Flow: Ein standardmäßiger Workflow-Benutzer muss in den Prozessautomatisierungseinstellungen konfiguriert sein.

Verarbeitungsverhalten

• Auftragsverarbeitung in chronologischer Reihenfolge basierend auf dem Erstellungsdatum.
• Aufträge, die innerhalb von Sekunden erstellt werden, folgen möglicherweise keiner strengen Reihenfolge.
• Nach Verarbeitungsbeginn werden Eingabewerte und bestimmte Felder unveränderlich.
• Auftragsstatusänderungen werden vom System verwaltet und können nicht manuell geändert werden.
• Die Abschlusszeit hängt vom Modellanbieter ab und kann variieren.

Überlegungen zur Plattform

• Die Batch-Verarbeitung erfolgt asynchron und die Ergebnisse sind nicht sofort.
• Legen Sie die entsprechenden Zeitüberschreitungslängen fest. Für Flow-Batchaufträge wird ein Tag empfohlen.
• Überwachen Sie den Auftragsstatus über Plattformereignisse oder durch Abfragen von Auftragsdatensätzen.
• Planen Sie beim Entwerfen zeitkritischer Workflows die Verarbeitungszeit ein.
• Ziehen Sie die Ausweichverarbeitung für fehlgeschlagene Elemente in einem Batch in Betracht.