Uppmana batchbearbetning av mall

Översikt

Batchbearbetning skapar ett stort antal uppmaningssvar asynkront i en enda begäran. Detta tillvägagångssätt hjälper dig undvika att uppnå LLM-hastighetsgränser och hanterar effektivt skapande av innehåll med hög volym.

Systemet ställer ditt batchjobb i kö, bearbetar alla objekt och lagrar resultaten. Du kan övervaka jobbets förlopp och hämta slutförda svar när du är redo. Den faktiska slutförandetiden beror på modellleverantören och kan variera.

Vanliga användningsfall inkluderar:

• Skapa personliga e-postkampanjer för tusentals kunder.
• Skapa produktbeskrivningar från katalogdata.
• Sammanfatta stora volymer kundcaseanteckningar eller kundfeedback.
• Översätta innehåll över flera poster.
• Utlösa massinnehållsskapande i ett schema eller efter poständringar.

Implementeringsalternativ

Salesforce tillhandahåller två primära metoder för att implementera batchbearbetning:

Flöde

Detta tillvägagångssätt fungerar för de flesta användningsfall och är bäst för Salesforce-administratörer som bygger kodfria lösningar. Använd åtgärden Uppmaningmall (Batchskapande) i ett schemautlöst eller postutlöst flöde för att skapa batchjobb som körs automatiskt. Dessa flöden inkluderar slutförda och timeoutvägar, vilket gör att du kan hantera scenarion för framgångsrikt slutförande och timeout på olika sätt.

Gränser:

• Flödessatsjobb börjar vanligtvis bearbetas inom två timmar efter inskickning.
• Upp till 10 000 generationer per dag för standardmodeller.
• Om du använder modeller som har stöd för inbyggd batchbearbetning, upp till 50 000 generationer per dag.
• Upp till 1 000 objekt per timme vid användning av WebSearch Retrievers.

Apex

Detta tillvägagångssätt erbjuder maximal flexibilitet för egen integrering och automatisering. Använd objekten AiJobRun och AiJobRunItem för att skapa och hantera batchjobb programmatiskt. Apex rekommenderas när du vill:

• Bygg ett eget användargränssnitt. Till exempel: en knapp som startar ett jobb, eller en instrumentpanel som listar batchjobb.
• Styr batchstorlek dynamiskt (ackumulera objekt tills ett antal eller tidströskel och börja sedan).
• Utlöses från externa händelser som inte är postutlösta eller schemabaserade.

Gränser:

• Upp till 1 000 AiJobRunItems för varje AiJobRun.
• Om du använder modeller som har stöd för inbyggd batchbearbetning finns det en gräns på 10 000 AiJobRunItems för varje AiJobRun.
• Upp till 1 000 objekt per timme vid användning av WebSearch Retrievers.
• Upp till 5 AiJobRun-objekt på 24 timmar. Om dina begäranden överskrider den dagliga gränsen placeras de i kö tills gränsen återställs.

Rekommenderad användning

Välj rätt modell:

• Använd en modell som heter Batch som stöds: Ja i Promptbyggaren för snabbast bearbetning.
• Undvik minimodeller för batch eftersom de är betydligt långsammare.

Storlek på dina satser:

• Större är bättre. Antal jobb är den begränsande faktorn, inte objekt i dessa jobb. Satser om 200 och 2 000 avslutas ungefär lika länge.
• Ett eller flera misslyckade objekt blockerar inte resten av batchen.

Välj rätt implementering: Flöde vs. Apex:

• Använd Flöde om du inte behöver ett eget användargränssnitt för att starta jobb, dynamisk batchstorlek eller utlösare för icke-post och icke-schema.

Utforma ditt flöde:

• Utför endast en batchåtgärd per flöde. Kedjade batchåtgärder står i kö och ökar runtime betydligt.
• Kombinera uppmaningar till en enda mall när det är möjligt.
• Sätt timeouten till 1 dag.

Övervaka jobbförlopp:

• Fråga AiJobRun och AiJobRunItem om status, antal objekt, fel och svar.
• Prenumerera på AiJobRunStatusEvent för händelsedrivna arbetsflöden.

Begränsningar och överväganden

Förkrav

• Den specificerade uppmaningsmallen måste ha en aktiv version.
• För Flöde: En standardanvändare för arbetsflöde måste konfigureras i Inställningar för processautomatisering.

Bearbetningsbeteende

• Jobbprocessen i kronologisk ordning baserat på skapandedatum.
• Jobb som skapas inom sekunder från varandra kanske inte följer en strikt sekvens.
• Efter att bearbetningen har påbörjats blir indatavärden och vissa fält oföränderliga.
• Jobbstatusändringar är systemhanterade och kan inte ändras manuellt.
• Slutförandetiden beror på modellleverantören och kan variera.

Plattformsöverväganden

• Batchbearbetning är asynkron och resultaten är inte omedelbara.
• Ange lämpliga timeoutlängder. En dag rekommenderas för flödessatsjobb.
• Bevaka jobbstatus genom plattformshändelser eller genom att fråga jobbposter.
• Planera bearbetningstiden när du utformar tidskänsliga arbetsflöden.
• Överväg reservhantering för misslyckade objekt inom en sats.