Batchbehandling af meddelelsesskabelon

Oversigt

Batchbehandling genererer et stort antal meddelelsessvar asynkront i en enkelt anmodning. Denne tilgang hjælper dig med at undgå at nå LLM-frekvensgrænser og håndterer effektivt højvolumen indholdsgenerering.

Systemet sætter dit batchjob i kø, behandler alle elementer og lagrer resultaterne. Du kan overvåge jobstatus og hente fuldførte svar, når de er klar. Den faktiske fuldførelsestid afhænger af modeludbyderen og kan variere.

Almindelige anvendelsessituationer omfatter:

• Oprettelse af personlige mailkampagner for tusindvis af kunder.
• Generering af produktbeskrivelser fra katalogdata.
• Opsummering af store mængder sagsnotater eller kundefeedback.
• Oversættelse af indhold på tværs af flere registreringer.
• Udløser masseindholdsgenerering efter en tidsplan eller efter registreringsændringer.

Implementeringsindstillinger

Salesforce leverer to primære metoder til implementering af batchbehandling:

Forløb

Denne tilgang fungerer for de fleste anvendelsessituationer og er bedst for Salesforce-administratorer, der opbygger ingen-kode-løsninger. Brug handlingen Meddelelsesskabelon (batchgenerering) i et planlægningsudløst eller registreringsudløst forløb til at oprette batchjob, der kører automatisk. Disse forløb inkluderer fuldførte og udløbne stier, så du kan håndtere vellykkede fuldførelses- og timeoutscenarier forskelligt.

Begrænsninger:

• Forløbsbatchjob begynder typisk at blive behandlet inden for to timer efter indsendelse.
• Op til 10.000 generationer pr. dag for standardmodeller.
• Hvis du bruger modeller, der understøtter indbygget batchbehandling, op til 50.000 generationer pr. dag.
• Op til 1.000 elementer pr. time, når der bruges WebSearch Retrievers.

Apex

Denne tilgang tilbyder maksimal fleksibilitet for tilpasset integration og automatisering. Brug objekterne AiJobRun og AiJobRunItem til at oprette og administrere batchjob programmeringsmæssigt. Apex anbefales, når du ønsker at:

• Opbyg en tilpasset brugergrænseflade. F.eks.: en knap, der starter et job, eller et dashboard, der viser batchjob.
• Kontroller batchstørrelse dynamisk (akkumuler elementer indtil en optælling eller en tidstærskel og start derefter).
• Udløser fra eksterne begivenheder, der ikke er registreringsudløste eller planlægningsbaserede.

Begrænsninger:

• Op til 1.000 AiJobRunItems for hver AiJobRun.
• Hvis du bruger modeller, der understøtter indbygget batchbehandling, er der en grænse på 10.000 AiJobRunItems for hver AiJobRun.
• Op til 1.000 elementer pr. time, når der bruges WebSearch Retrievers.
• Op til 5 AiJobRun-objekter i løbet af 24 timer. Hvis dine anmodninger overskrider den daglige grænse, placeres de i en status i kø, indtil grænsen nulstilles.

Anbefalede fremgangsmåder

Vælg den rigtige model:

• Brug en model med betegnelsen Batch understøttet: Ja i Promptkonstruktør for hurtigste behandling.
• Undgå mini-modeller til batch, da de er markant langsommere.

Størrelse på dine batches:

• Større er bedre. Antal job er den begrænsende faktor, ikke elementer i disse job. Batches på 200 og 2.000 afsluttes på omtrent samme mængde tid.
• Et eller flere mislykkede elementer blokerer ikke resten af batchen.

Vælg den rigtige implementering: Forløb kontra Apex:

• Brug forløb, medmindre du har brug for en tilpasset brugergrænseflade til at starte job, dynamisk batchstørrelse eller ikke-registrerings- og ikke-planlægningsudløsere.

Design dit forløb:

• Udfør kun en batchhandling pr. forløb. Sammenkædede batchhandlinger sættes i kø og øger kørselstiden betydeligt.
• Kombiner meddelelser i en enkelt skabelon, når det er muligt.
• Indstil timeout til 1 dag.

Overvåg jobstatus:

• Forespørg på AiJobRun og AiJobRunItem for status, elementantal, fejl og svar.
• Abonner på AiJobRunStatusEvent for begivenhedsstyrede arbejdsflows.

Begrænsninger og overvejelser

Forudsætninger

• Den angivne meddelelsesskabelon skal have en aktiv version.
• For forløb: En standardarbejdsflowbruger skal konfigureres i Procesautomatiseringsindstillinger.

Behandlingsadfærd

• Jobprocesser i kronologisk rækkefølge baseret på oprettelsesdato.
• Job, der er oprettet inden for sekunder fra hinanden, følger muligvis ikke en streng sekvens.
• Når behandlingen begynder, bliver inputværdier og bestemte felter uforanderlige.
• Jobstatusændringer er systemadministrerede og kan ikke ændres manuelt.
• Færdiggørelsestid afhænger af modeludbyderen og kan variere.

Platformsovervejelser

• Batchbehandling er asynkron, og resultaterne er ikke øjeblikkelige.
• Angiv relevante timeoutlængder. En dag anbefales for forløbsbatchjob.
• Overvåg jobstatus gennem platformsbegivenheder eller ved at forespørge på jobregistreringer.
• Planlæg behandlingstid, når du designer tidsfølsomme arbejdsflows.
• Overvej tilbagerulningshåndtering for mislykkede elementer i en batch.