Considérations relatives à l'utilisation de transformations de données en continu

Création de transformations de données

Ce diagramme montre quatre scénarios d'utilisation d'objets lac de données, de flux de données et de transformations de données en continu.

• À tout moment :
  • Un objet lac de données peut recevoir des données d'au plus un flux de données (1).
  • Un objet lac de données ou un objet modèle de données peut recevoir des données d'une ou de plusieurs transformations de données (2, 3).
  • Un objet lac de données ou un objet modèle de données peut être autonome (4).

  Un objet lac de données peut être autonome lorsqu'un flux de données est créé, puis dissocié de l'objet lac de données. Cela peut se produire lorsque le flux de données est supprimé, mais l’objet lac de données est conservé.

  Un objet modèle de données autonome peut se produire lors de la création puis de la suppression d'une transformation de données. L'objet modèle de données est conservé, même si la transformation qui l'avait écrit précédemment n'existe plus.

  Ce diagramme montre un flux de données écrivant dans un objet lac de données. Le flux de données est connecté à l'objet lac de données, mais vous ne pouvez pas créer de transformations de données en continu qui écrivent dans cet objet.

  
• Une fois enregistrée, vous ne pouvez pas modifier une transformation de données en continu. Si vous devez changer votre transformation de données en continu, supprimez-la, puis créez-en une autre.
• Lorsque vous écrivez les résultats d'une transformation de données en continu dans un objet lac de données, vous ne pouvez pas mapper les champs système Source de données et Objet source de données.
• Si une transformation de données en continu contient une syntaxe SQL ou d'autres erreurs de validation, vous ne pouvez pas l'enregistrer. Les erreurs de syntaxe sont affichées à gauche de l'éditeur. La saisie de noms d'API incorrects pour l'objet source et les objets cibles entraîne une erreur de validation.
• Votre transformation de données streaming SQL définit les mappages de champs pour la clé primaire et les autres champs des objets cibles. Toutes les instructions SQL nécessitent une clé primaire. Si l'objet cible est classé Engagement, incluez un mappage pour le champ Event DateTime.
• Pour déterminer si vous utilisez des fonctions prises en charge, consultez la section Prise en charge des fonctions.
• Il n'est pas nécessaire d'utiliser une clause WHERE dans l'instruction de votre transformation des données en continu. L'utilisation d'une instruction WHERE est utile si vous devez sélectionner des enregistrements spécifiques dans l'objet source.
• Les sous-requêtes ne sont pas prises en charge pour les transformations de données en continu.

Utilisation de clés complètes

Utilisez des clés complètes pour connecter plusieurs sources de données dans Data 360 et éviter les conflits de clés lorsque des enregistrements d'une ou de plusieurs sources utilisent les mêmes clés primaires ou étrangères. Vous ne pouvez pas utiliser un champ de qualificateur de clé dans une transformation de données comme source de données ou comme destination. Si une transformation de données référence un champ de qualificateur de clé, la validation de la transformation de données en continu échoue et une erreur est affichée.

Traitement des transformations de données

• Lors de la création d'une transformation de données streaming, la lecture des enregistrements de l'objet source, le traitement et l'écriture dans l'objet cible peuvent prendre jusqu'à 30 minutes. Après la synchronisation initiale, les transformations de données en continu sélectionnent en quelques minutes les enregistrements nouveaux ou mis à jour de l'objet source. Les tâches de transformation des données en continu exécutées simultanément peuvent affecter le temps de traitement.
• Le champ Heure de dernière exécution indique quand la transformation de données streaming a terminé le traitement des enregistrements de données de l'objet source.
• Pour arrêter une transformation de données streaming, supprimez-la.
• Un objet lac de données peut être sélectionné en tant qu'objet lac de données cible uniquement lorsque son statut est Actif. Si l'objet lac de données que vous souhaitez utiliser n'est pas affiché, vérifiez son statut.
• Pour des transformations de données en continu, vous pouvez utiliser uniquement des objets lac de données créés via l'interface utilisateur en tant qu'objets lac de données cibles. Vous ne pouvez pas utiliser un objet lac de données créé en tant que cible par un flux de données.
• Un objet modèle de données peut être sélectionné en tant que cible uniquement lorsque vous l'avez créé en utilisant l'option « Créer » lors de la configuration d'une nouvelle transformation.
• Si le statut de la transformation des données en continu indique Erreur, cliquez sur Réessayer.

Partage d'objets cibles

Plusieurs transformations de données streaming peuvent lire à partir du même objet source ou écrire dans le même objet cible. Lorsque plusieurs transformations de données en continu écrivent dans le même objet cible, évitez les remplacements involontaires dans l'objet cible.

Si des transformations de données en continu écrivent dans le même objet cible et génèrent la même clé primaire, ces situations peuvent se produire.

• Si les transformations écrivent dans différents champs sans chevauchement, l'état de l'enregistrement dans l'objet cible est identique, quel que soit l'ordre d'exécution des transformations.
• Si les transformations de données en continu écrivent dans les mêmes champs, l'état de l'enregistrement dans l'objet cible est indéterminé. Les transformations exécutées plus tard remplacent les données écrites par les transformations antérieures. Après l'exécution de toutes les transformations de données en continu, l'objet cible contient les données écrites par la dernière transformation de données en continu à exécuter.

Suivi et conservation des lignages et des valeurs des enregistrements

• Les objets lac de données et les objets modèle de données contiennent les champs de lignage suivants pour suivre et préserver le lignage des enregistrements : Source de données, Objet source de données et Organisation interne. Lorsqu'une transformation de données streaming met à jour un objet cible, elle copie les valeurs de champ de lignage de l'objet source vers l'objet cible.
• Lorsque plusieurs transformations de données en continu écrivent dans le même objet cible, les champs de lignage sont mis à jour chaque fois qu'une transformation est exécutée avec les valeurs de champ de l'objet source de cette transformation de données en continu.