Du er her:
Typer datatransformasjon
En datatransformasjon kjører i inkrementell eller full modus. Under en trinnvis kjøring gjelder transformasjonen bare for inndata som har blitt lagt til, oppdatert eller slettet. Disse endringene kan skje gjennom en datastrøm eller fra målet til en annen batchdatatransformasjon som kjører inkrementelt. En fullkjøring behandler både nye og eksisterende data. Du kan ikke konfigurere kjøringstypen. datatransformasjon velger kjøringstypen basert på bestemte kriterier.
Inkrementelle kjøringer
Disse kriteriene kreves for en inkrementell kjøring.
- Transformasjonen er planlagt.
- Oppdateringer av inndata er mindre enn 5 % av den totale mengden data.
- Datainndataobjektene er DLO-er eller DMO-er.
- For DMO-inndata tilordnes primærnøkkelfeltet til et primærnøkkelfelt i et av dens DLO-er.
- Når Erstatt er valgt for skrivemodus for utdata
Merk Når du velger "Erstatt" som skrivemodus for utdata, gjøres det et forsøk på å kjøre transformasjonen i trinnvis modus. Når transformasjonen kjører i inkrementell modus, oppdateres eller slettes bare endringspostene, de erstattes ikke. Bare endringer fra inndatakilder fra tidligere vellykkede kjøringer lastes inn, og dataene flettes deretter til utdatanoden. Når transformasjonen ikke kvalifiserer for inkrementell, kjøres den i full modus.
En trinnvis kjøring støtter disse funksjonene.
- Samlekategorier
- Redigere attributter
- Slipp kolonner
- Filtre
- Enradige formler
- transformasjoner for datatypekonvertering – Tekst til dato, Tekst til tall, Tall til tekst
- Dato-transformasjoner: Legg til eller trekk fra dager eller måneder, Datoforskjell, Trekk ut
- Talltransformasjoner – Fyll
- Tekst-transformasjoner: Avsnitt, Delstreng, Oppdeling, Større bokstaver, Små bokstaver, Erstatt, Formateringsdato
I enkelte scenarier kan dataavvik føre til duplikatposter eller feilposter i utdata fra inkrementell transformasjon. Dataavvik korrigeres ved neste fullkjøring. Se Data Glidning i inkrementelle kjøringer.
Full kjøring
En transformasjon med disse funksjonene krever full kjøring.
- Manuelle kjøringer utløst av en flyt eller startet ved å klikke på Kjør nå
- Aggregeringer
- Flerradformler
- Sammenføyninger
- oppdateringer til mer enn 5 % av den totale mengden data
- Når Oppsett velges for skrivemodus for utdata
- Når eksterne DLO-er eller DMO-er brukes som inndatakilder
En full kjøring skjer alltid etter disse handlingene, selv om transformasjonen oppfyller kriteriene for å kjøre trinnvis.
- Redigere en transformasjon
- Oppdatere DMO-tilordningene for inndata
- Bygg inndataobjektet på nytt
For å avhjelpe avvik skjer det alltid en full kjøring på den første planlagte kjøringen av dagen for alle transformasjoner. Glidning skjer når resultater som tidligere tilfredsstilte filterbetingelser, fortsetter å vises etter at de ikke lenger samsvarer med de oppdaterte betingelsene. Den daglige fullkjøringen retter opp dette problemet.
- Dataflyt i inkrementell kjøring
Når du kjører en datatransformasjon i inkrementell modus, kan dataavvik føre til at utdataobjekter inkluderer endrede poster i stedet for å filtrere dem ut eller erstatte dem. Dataavvik korrigeres i den daglige planlagte fullkjøringen.
