Batchverwerking van aanwijzingssjabloon

Overzicht

Batchverwerking genereert grote aantallen promptreacties asynchroon in één verzoek. Deze benadering helpt voorkomen dat u LLM-scorelimieten bereikt en gaat efficiënt om met het genereren van inhoud met groot volume.

Het systeem zet uw batchtaak in de wachtrij, verwerkt alle items en slaat de resultaten op. U kunt de voortgang van de taak bewaken en voltooide reacties ophalen wanneer u klaar bent. De feitelijke voltooiingstijd is afhankelijk van de modelleverancier en kan variëren.

Veel voorkomende gebruikscases zijn:

• Gepersonaliseerde e-mailcampagnes maken voor duizenden klanten.
• Productbeschrijvingen genereren op basis van catalogusgegevens.
• Grote volumes casenotities of feedback van klanten samenvatten.
• Inhoud vertalen over meerdere records.
• Het genereren van bulkinhoud activeren volgens een planning of door recordwijzigingen.

Implementatieopties

Salesforce biedt twee primaire methoden voor het implementeren van batchverwerking:

Stroom

Deze benadering werkt voor de meeste gebruikscases en is het beste voor Salesforce-beheerders die oplossingen zonder code bouwen. Gebruik de actie Aanwijzingssjabloon (Batchgewijs genereren) in een door planning geactiveerde of door records geactiveerde stroom om batchtaken te maken die automatisch worden uitgevoerd. Deze stromen omvatten Voltooide en Time-out-trajecten, waardoor u scenario's voor geslaagde voltooiing en time-outs anders kunt afhandelen.

Limieten:

• Stroombatchtaken beginnen doorgaans binnen twee uur na indiening te worden verwerkt.
• Tot 10.000 generaties per dag voor standaardmodellen.
• Bij gebruik van modellen die native batchverwerking ondersteunen, maximaal 50.000 generaties per dag.
• Maximaal 1000 items per uur bij gebruik van WebSearch Retrievers.

Apex

Deze benadering biedt maximale flexibiliteit voor aangepaste integratie en automatisering. Gebruik de objecten AiJobRun en AiJobRunItem om batchtaken programmatisch te maken en te beheren. Apex wordt aanbevolen wanneer u het volgende wilt doen:

• Stel een aangepaste UI samen. Bijvoorbeeld: een knop waarmee een taak wordt gestart of een dashboard met batchtaken.
• Bepaal batchgrootte dynamisch (verzamel items tot een telling of tijdsdrempel en begin vervolgens).
• Trigger vanuit externe events die niet door records zijn geactiveerd of op planning zijn gebaseerd.

Limieten:

• Maximaal 1000 AiJobRunItems voor elke AiJobRun.
• Bij gebruik van modellen die native batchverwerking ondersteunen, is er een limiet van 10.000 AiJobRunItems voor elke AiJobRun.
• Maximaal 1000 items per uur bij gebruik van WebSearch Retrievers.
• Maximaal 5 AiJobRun-objecten in 24 uur. Als uw verzoeken de dagelijkse limiet overschrijden, worden ze in een wachtrij geplaatst totdat de limiet opnieuw wordt ingesteld.

Best practices

Selecteer het juiste model:

• Gebruik een model met het label Batch ondersteund: Ja in Aanwijzingensamensteller voor snelste verwerking.
• Vermijd minimodellen voor batches, omdat deze aanzienlijk langzamer zijn.

Grootte van uw batches:

• Groter is beter. Aantal taken is de beperkende factor, niet items in die taken. Batches van 200 en 2000 worden in ongeveer dezelfde hoeveelheid tijd voltooid.
• Een of meer mislukte items blokkeren de rest van de batch niet.

Selecteer de juiste implementatie: Stroom versus Apex:

• Gebruik Stroom, tenzij u een aangepaste UI nodig hebt om taken te starten, dynamische batchgrootten nodig hebt of triggers voor niet-records en niet-planningen nodig hebt.

Uw stroom ontwerpen:

• Voer slechts één batchactie per stroom uit. Geketende batchacties worden in de wachtrij geplaatst en verlengen de run-time aanzienlijk.
• Combineer aanwijzingen indien mogelijk in één sjabloon.
• Stel de time-out in op 1 dag.

Taakvoortgang bewaken:

• Voer een query uit op AiJobRun en AiJobRunItem voor status, itemtellingen, fouten en responsen.
• Abonneer u op AiJobRunStatusEvent voor eventgestuurde werkstromen.

Beperkingen en overwegingen

Randvoorwaarden

• De opgegeven aanwijzingssjabloon moet een actieve versie hebben.
• Voor stroom: Een standaardwerkstroomgebruiker moet zijn geconfigureerd in Instellingen voor procesautomatisering.

Verwerkingswerking

• Taken worden verwerkt in chronologische volgorde op basis van aanmaakdatum.
• Taken die binnen enkele seconden na elkaar worden gemaakt, volgen mogelijk niet een strikte volgorde.
• Nadat de verwerking is begonnen, kunnen invoerwaarden en bepaalde velden niet meer worden gewijzigd.
• Taakstatuswijzigingen worden door het systeem beheerd en kunnen niet handmatig worden gewijzigd.
• Voltooiingstijd is afhankelijk van de modelleverancier en kan variëren.

Platformoverwegingen

• Batchverwerking is asynchroon en de resultaten zijn niet onmiddellijk.
• Stel de juiste time-outlengten in. Eén dag wordt aanbevolen voor batchtaken voor Flow.
• Bewaak de taakstatus via platformevents of door een query uit te voeren op taakrecords.
• Houd rekening met verwerkingstijd bij het ontwerpen van tijdgevoelige werkstromen.
• Overweeg reserveafhandeling voor mislukte items binnen een batch.