Transformations de données en continu

Une transformation de données streaming lit un enregistrement dans un objet source, remodele les données de l'enregistrement et écrit un ou plusieurs enregistrements dans un objet cible. Les objets source et cible doivent être différents. Une transformation de données en continu est exécutée en tant que processus de diffusion en continu, capturant les données nouvelles ou modifiées.

Utilisez une transformation de données en continu pour nettoyer les données ingérées. Mappez ensuite les données améliorées avec le modèle de données.

• Cas d'utilisation Transformation des données en continu
  Ces cas d'utilisation montrent comment utiliser des transformations de données en continu pour normaliser, filtrer et mieux aligner vos données avec le modèle de données Data Cloud.
• Configuration d'une transformation de données en continu
  Lorsque vous configurez une transformation de données streaming, elle lit et traite tous les enregistrements de la source et écrit les données dans l'objet cible. Les objets source et cible doivent être différents.
• Jointure de données dans une transformation en continu
  Les jointures activent l'augmentation des données en combinant les données de deux flux séparés basés sur une clé primaire. Dans les transformations de données en continu, les clauses `INNER JOIN` et `LEFT JOIN` dans les instructions SQL sont utilisées pour combiner les données de deux flux distincts. Une expression join se compose de deux objets : l'un identifie l'objet qui déclenche la transformation streaming lors de la mise à jour, et l'autre spécifie l'objet utilisé pour évaluer la jointure.
• Création d'un objet lac de données cible depuis l'onglet Objets lac de données
  Pour créer un objet lac de données cible (DLO), vous pouvez utiliser l'onglet Objets lac de données.
• Vérification du statut d'une transformation de données en continu
  Pour suivre le statut d'une transformation de données en continu, examinez ses métriques de traitement.
• Filtrage des enregistrements de transformation des données en continu
  Utilisez la clause WHERE de l'instruction SQL Transformation de données streaming pour limiter l'objet source qui enregistre les lectures et les processus de la transformation de données streaming.
• Reconstruire des objets cibles Transformation en continu
  Reconstruisez un objet cible Transformation en continu pour garantir la cohérence des données.
• Considérations relatives à l'utilisation de transformations de données en continu
  Les considérations relatives à l'utilisation de transformations de données en continu peuvent affecter considérablement les performances, la fiabilité et la réussite de votre pipeline de traitement des données.
• Considérations relatives à la suppression des données
  Tenez compte des points suivants lorsque vous supprimez des données dans Data 360.
• Droits de la personne concernée d'un client dans les transformations de données
  Les Droits de la personne concernée d'un client se rapportent au stockage et à l'utilisation de ses données personnelles. Data 360 offre des outils de prise en charge des Droits de la personne concernée en conformité avec les différentes réglementations relatives à la protection des données et de la vie privée.
• Fonctions et opérateurs de transformation des données en continu
  Vous pouvez utiliser les fonctions et les opérateurs ci-dessous dans une instruction SQL de transformation des données en continu.