Overvejelser i forbindelse med arbejde med streaming-transformationer

Oprettelse af datatransformationer

Dette diagram viser fire mulige scenarier til at arbejde med Data Lake-objekter, datastreams og streaming-transformationer.

• På ethvert givet tidspunkt:
  • En DLO kan højst modtage data fra en datastream (1).
  • En DLO eller et DMO kan modtage data fra en eller flere datatransformationer (2, 3).
  • En DLO eller et DMO kan være enkeltstående (4).

  En enkeltstående DLO kan forekomme, når en datastream oprettes og derefter frakobles fra DLO. Det kan ske, når datastreamen slettes, men data lake-objektet bevares.

  Et enkeltstående DMO kan forekomme, når en datatransformering oprettes og derefter slettes. DMO'et forbliver, selvom den transformation, der tidligere skrev til det, ikke længere findes.

  Dette diagram viser sagen om en datastream, der skriver til en DLO. Mens datastreamen er tilsluttet DLO, kan du ikke oprette streamingdatatransformationer, der skriver til den.

  
• Du kan ikke ændre en datatransformering efter lagring. Hvis du skal ændre din streaming datatransformering, skal du slette den og oprette en anden.
• Når du skriver resultaterne af en streaming datatransformering til et data lake-objekt, kan du ikke tilknytte systemfelterne, Datakilde og Datakildeobjekt.
• Hvis en streaming datatransformering indeholder SQL-syntaks eller andre valideringsfejl, kan du ikke gemme den. Syntaksfejl vises i venstre side af editoren. Angivelse af ukorrekte API-navne for kildeobjektet og målobjekterne opretter en valideringsfejl.
• Din streaming datatransformering SQL definerer felttilknytningerne for den primære nøgle og andre felter i målobjekterne. Alle SQL-erklæringer kræver en primær nøgle. Hvis målobjektet er kategoriseret som Engagement, skal du inkludere en tilknytning for feltet Event DateTime.
• Hvis du vil bestemme, om du bruger understøttede funktioner, skal du gennemse afsnittet Supportfunktioner.
• Du behøver ikke bruge en WHERE-sætning i din datatransformeringserklæring. Brug af en WHERE er nyttig, hvis du skal vælge specifikke registreringer fra kildeobjektet.
• Underforespørgsler understøttes ikke for streaming af transformationer af data.

Brug af fuldt kvalificerede nøgler

Brug fuldt kvalificerede nøgler til at tilslutte flere datakilder i Data 360, og undgå nøglekonflikter, når registreringer fra en eller flere kilder bruger de samme primære eller fremmede nøgler. Du kan ikke bruge et nøglekvalificeringsfelt i en datatransformering som en datakilde eller som en destination. Hvis en datatransformering refererer til et nøglekvalificeringsfelt, mislykkes valideringen af datatransformeringen og der vises en fejl.

Behandler datatransformationer

• Når der oprettes en streaming datatransformering, kan det tage op til 30 minutter at læse registreringer fra kildeobjektet, behandle og begynde at skrive til målobjektet. Efter den indledende synkronisering opsamler streamingdata nye eller opdaterede registreringer fra kildeobjektet inden for nogle få minutter. Samtidig aktive datatransformering kan påvirke behandlingstiden.
• Feltet Sidste kørselstidspunkt viser, hvornår datatransformeringen af færdige behandlingsdataregistreringer fra kildeobjektet.
• Hvis du vil stoppe en streaming datatransformering, skal du slette den.
• En DLO er kun tilgængelig for valg som en mål-DLO, når dens status er Aktiv. Hvis du ikke ser den DLO, du vil bruge, skal du kontrollere dens status.
• Du kan kun bruge DLO'er, der er oprettet gennem brugergrænsefladen som mål-DLO'er til streaming af datatransformationer. Du kan ikke bruge en DLO, der er oprettet af datastream som et mål.
• Et DMO er kun tilgængeligt for valg som mål, når du har oprettet dem ved brug af indstillingen "Opret nyt" under opsætningen af en ny transformation.
• Hvis status for streaming datatransformering er Fejl, skal du klikke på Fortsæt.

Delingsmålobjekter

Flere end en streaming datatransformering kan læse fra det samme kildeobjekt eller skrive til det samme målobjekt. Når flere streamingdata-transformationer skrives til det samme målobjekt, skal du undgå utilsigtede overskrivninger i målobjektet.

Hvis streamingdata transformerer skrive til det samme målobjekt og genererer den samme primære nøgle, kan disse situationer forekomme.

• Hvis transformationerne skriver til forskellige felter uden nogen overlapning, er tilstanden for registreringen i målobjektet den samme, uanset hvilken rækkefølge transformationerne kører i.
• Hvis streamingdata transformerer skrivning til de samme felter, er tilstanden for registreringen i målobjektet ubestemt. Transformationer, der køres senere, overskriver de data, der er skrevet af de tidligere transformationer. Efter al datatransformationskørsel indeholder målobjektet de data, der er skrevet af den sidste datatransformation, der skal køres.

Sporing og bevarelse af registreringslinjes og -værdier

• DLO'er og DMO'er indeholder disse afledningsfelter til at spore og bevare registreringsafledningen: Datakilde, datakildeobjekt og intern organisation. Når en datatransformering opdaterer et målobjekt, kopierer den slægtfeltværdierne fra kildeobjektet til målobjektet.
• Når flere streamingdatatransformeringer skrives til det samme målobjekt, opdateres afstamningsfelterne, hver gang en transform kører med feltværdierne fra den pågældende streamingdatatransformations kildeobjekt.