Behandling av meldingsmalgruppe

Oversikt

Gruppebehandling genererer et stort antall ledetekstsvar asynkront i én enkelt forespørsel. Denne tilnærmingen hjelper deg å unngå å nå LLM-grenser og håndterer effektivt generering av innhold med stor trafikk.

Systemet legger batchjobben i kø, behandler alle elementer og lagrer resultatet. Du kan overvåke jobbens fremdrift og hente fullførte svar når du er klar. Den faktiske tiden for fullføring avhenger av modellleverandøren og kan variere.

Vanlige brukstilfeller inkluderer følgende:

• Opprette tilpassede e-postkampanjer for tusenvis av kunder.
• Generere produktbeskrivelser fra katalogdata.
• Oppsummering av store volumer av saksnotater eller tilbakemeldinger fra kunder.
• Oversette innhold på tvers av flere poster.
• Utløsing av masseinnholdsgenerering etter en tidsplan eller etter postendringer.

Implementeringsalternativer

Salesforce har to primære metoder for implementering av gruppebehandling:

Flyt

Denne tilnærmingen fungerer for de fleste brukstilfeller og er best for Salesforce-administratorer som bygger løsninger uten kode. Bruk handlingen Ledetekstmal (batchgenerering) i en tidsplanutløst eller postutløst flyt til å opprette gruppejobber som kjører automatisk. Disse flytene inkluderer banene Fullført og Tidsavbrutt slik at du kan håndtere scenarier for vellykket fullføring og tidsavbrudd forskjellig.

Grenser:

• Gruppejobber i flyter begynner vanligvis å behandles innen to timer etter innsending.
• Opptil 10 000 generasjoner per dag for standardmodeller.
• Hvis du bruker modeller som støtter innebygd gruppebehandling, opptil 50 000 generasjoner per dag.
• Opptil 1000 elementer per time ved bruk av WebSearch Retrievers.

Apex

Denne tilnærmingen gir maksimal fleksibilitet for tilpasset integrering og automatisering. Bruk objektene AiJobRun og AiJobRunItem til å opprette og behandle gruppejobber programmatisk. Apex anbefales når du vil:

• Bygg et tilpasset brukergrensesnitt. Eksempel: en knapp som starter en jobb, eller et kontrollpanel som viser gruppejobber.
• Kontroller batchstørrelse dynamisk (akkumulere elementer til en teller eller tidsterskel, og deretter starte).
• Utløs fra eksterne hendelser som ikke er postutløste eller tidsplanbaserte.

Grenser:

• Opptil 1000 AiJobRunItems for hver AiJobRun.
• Hvis du bruker modeller som støtter innebygd gruppebehandling, er det en grense på 10 000 AiJobRunItems for hver AiJobRun.
• Opptil 1000 elementer per time ved bruk av WebSearch Retrievers.
• Opptil 5 AiJobRun-objekter i løpet av 24 timer. Hvis forespørslene overskrider den daglige grensen, plasseres de i en statusen for å legges i kø til grensen tilbakestilles.

Gode fremgangsmåter

Velg riktig modell:

• Bruk en modell med etiketten Gruppestøttet: Ja i Ledetekstbygger for raskeste behandling.
• Unngå minimodeller for batcher fordi de er merkbart tregere.

Størrelse på gruppene:

• Større er bedre. Antall jobber er den begrensende faktoren, ikke elementer i disse jobbene. Grupper på 200 og 2000 fullføres på omtrent samme tidsperiode.
• Ett eller flere mislykkede elementer blokkerer ikke resten av gruppen.

Velg riktig implementering: Flyt kontra Apex:

• Bruk Flyt med mindre du trenger et tilpasset brukergrensesnitt for å starte jobber, dynamisk batchstørrelse eller utløsere uten poster og uten tidsplan.

Utform flyten:

• Utfør bare én gruppehandling per flyt. Kjedede gruppehandlinger legges i kø og øker kjøretiden betydelig.
• Kombiner ledetekster i én enkelt mal når det er mulig.
• Angi tidsavbruddet til 1 dag.

Overvåke jobbfremdrift:

• Spør AiJobRun og AiJobRunItem om status, antall elementer, feil og svar.
• Abonnere på AiJobRunStatusEvent for hendelsesdrevne arbeidsflyter.

Begrensninger og hensyn

Forhåndskrav

• Den angitte ledetekstmalen må ha en aktiv versjon.
• For flyt: En standard arbeidsflytbruker må være konfigurert i Innstillinger for prosessautomatisering.

Behandlingsvirkemåte

• Jobbprosesser i kronologisk rekkefølge basert på opprettelsesdato.
• Det er ikke sikkert at jobber som opprettes innen sekunder fra hverandre, følger en streng sekvens.
• Når behandlingen starter, blir inndataverdier og bestemte felt uforanderlige.
• Endringer i jobbstatus er systemadministrerte og kan ikke endres manuelt.
• Fullføringstiden avhenger av modellleverandøren og kan variere.

Viktige punkter om plattformen

• Gruppebehandling er asynkron og resultatet blir ikke umiddelbart.
• Angi riktige tidsavbruddlengder. Én dag anbefales for gruppejobber i Flyt.
• Overvåk jobbstatus via plattformhendelser eller ved å spørre jobbposter.
• Planlegg behandlingstid når du utformer tidsfølsomme arbeidsflyter.
• Vurder reservebehandling av mislykkede elementer i en batch.