Streaming-datan transformaatioiden käytössä huomioitavia asioita

Datan transformaatioiden luominen

Tämä kaavio esittää neljä mahdollista skenaariota, joilla voit työstää Data Lake -objekteja, datavirtoja ja streaming-datatransformaatioita.

• Milloin tahansa:
  • DLO voi vastaanottaa dataa enintään yhdestä datavirrasta (1).
  • DLO tai DMO voi vastaanottaa dataa yhdestä tai useammasta datan transformaatiosta (2, 3).
  • DLO tai DMO voi olla itsenäinen (4).

  Erillinen DLO voi tapahtua, kun datavirta luodaan ja se irrotetaan DLO:sta. Se voi tapahtua, kun datavirta poistetaan, mutta Data Lake -objekti säilytetään.

  Erillinen DMO voi tapahtua, kun datamuunnos luodaan ja poistetaan. DMO säilyy, vaikka siihen aiemmin kirjoittama transformaatio ei ole enää olemassa.

  Tämä kaavio näyttää DLO-objektiin kirjoitetun datavirran tapauksen. Kun datavirta on yhdistetty DLO-objektiin, et voi luoda streaming-datatransformaatioita, jotka kirjoittavat siihen.

  
• Et voi muuttaa datamuunnos sen tallentamisen jälkeen. Jos sinun täytyy muuttaa datamuunnos, poista se ja luo toinen.
• Kun kirjoitat datamuunnos tulokset Data Lake -objektiin, et voi kartoittaa järjestelmäkenttiä, tietolähdeobjektia tai tietolähdeobjektia.
• Jos datamuunnos sisältää SQL-syntaksia tai muita vahvistusvirheitä, et voi tallentaa sitä. Syntaksivirheet näytetään editorin vasemmalla puolella. Lähdeobjektin ja kohdeobjektien virheellisten API-nimien syöttäminen aiheuttaa vahvistusvirheen.
• Streaming datamuunnos SQL määrittää kenttäkartoitukset ensisijaiselle avaimelle ja muille kohdeobjektien kentille. Kaikki SQL-lausekkeet vaativat ensisijaisen avaimen. Jos kohdeobjekti on luokiteltu Osallistuminen-objektiksi, sisällytä Event DateTime-kentän kartoitus.
• Tarkasta Tukifunktiot-osiosta, käytätkö tuettuja toimintoja.
• Sinun ei tarvitse käyttää streaming-datamuunnoksen lausekkeessa WHERE-lauseketta. WHERE-lausekkeen käyttäminen on hyödyllistä, jos sinun täytyy valita tietyt tietueet lähdeobjektista.
• Alikyselyitä ei tueta streaming-datan transformaatioille.

Täysin hyväksyttyjen avainten käyttäminen

Käytä täysin hyväksyttyjä avaimia yhdistääksesi useita tietolähteitä Data 360:ään ja välttyäksesi avainristiriidoilta, kun yhden tai useamman lähteen tietueet käyttävät samoja ensisijaisia tai vieraita avaimia. Et voi käyttää datamuunnos avainten hyväksyjäkenttää tietolähteenä tai kohteena. Jos datamuunnos viittaa avainten hyväksyjäkenttään, datamuunnos vahvistus epäonnistuu ja näet virheen.

Datan transformaatioiden käsittely

• Kun datamuunnos luodaan, tietueiden lukeminen lähdeobjektista, prosessista ja kirjoittaminen kohdeobjektiin voi kestää 30 minuuttia. Alustavan synkronoinnin jälkeen streaming-datamuunnokset noutavat lähdeobjektista uusia tai päivitettyjä tietueita muutamassa minuutissa. Samanaikaisesti aktiiviset datamuunnos työt voivat vaikuttaa käsittelyaikaan.
• Edellinen suorituksen aika -kenttä näyttää, milloin datamuunnos on valmis käsittelemään lähdeobjektin datatietueita.
• Jos haluat pysäyttää datamuunnos, poista se.
• DLO on valittavissa kohde-DLO-objektiksi vain, kun sen tila on Aktiivinen. Jos et näe haluamaasi DLO-objektia, tarkasta sen tila.
• Voit käyttää vain käyttöliittymän kautta luotuja DLO-objekteja kohdedLO-objekteina datan streaming-transformaatioissa. Et voi käyttää datavirran luomaa DLO-objektia kohteena.
• DMO on valittavissa kohteina vasta, kun olet luonut ne käyttämällä Luo uusi -vaihtoehtoa uuden transformaation määrittämisen aikana.
• Jos streaming-datamuunnoksen tila on Virhe, napsauta Yritä uudelleen.

Kohdeobjektien jakaminen

Useita datamuunnos voidaan lukea samasta lähdeobjektista tai kirjoittaa samaan kohdeobjektiin. Kun useita streaming-datamuunnoksia kirjoitetaan samaan kohdeobjektiin, vältä tahattomia korvauksia kohdeobjektissa.

Jos striidatan transformaatiot kirjoittavat samaan kohdeobjektiin ja luovat saman ensisijaisen avaimen, seuraavat tilanteet saattavat tapahtua.

• Jos transformaatiot kirjoittavat eri kenttiin päällekkäin, kohdeobjektin tietueen tila on sama riippumatta transformaatioiden suoritusjärjestyksestä.
• Jos streaming-data muuntaa kirjoittamisen samoihin kenttiin, kohdeobjektin tietueen tila on määrittämätön. Myöhemmin suoritetut transformaatiot korvaavat aiempien transformaatioiden kirjoittamat tiedot. Kaikkien suoritettavien streaming-datamuunnosten jälkeen kohdeobjekti sisältää suoritettavan streaming-datamuunnoksen edellisen kirjoittaman datan.

Tietueiden linjausten ja arvojen seuraaminen ja säilyttäminen

• DLO-organisaatiot ja DMO-organisaatiot sisältävät seuraavat linjauskentät seuratakseen ja säilyttääkseen tietueiden linjaa: Tietolähde, Tietolähdeobjekti ja Sisäinen organisaatio. Kun datamuunnos päivittää kohdeobjektin, se kopioi linjauskenttien arvot lähdeobjektista kohdeobjektiin.
• Kun useita streaming-datamuunnoksia kirjoitetaan samaan kohdeobjektiin, linjauskentät päivitetään joka kerta, kun transformaatio suoritetaan kyseisen streaming-datamuunnoksen lähdeobjektin kenttäarvoilla.