Vous êtes ici :
Historique d'actualisation des objets Flux de données et Lac de données
Data 360 fournit des statistiques au niveau de l'enregistrement sur les données ingérées par les flux de données et les enregistrements traités dans un objet lac de données (DLO).
Historique d'actualisation du flux de données
Affichez l'onglet Historique d'actualisation dans l'accueil de l'enregistrement du flux de données pour les statistiques de l'enregistrement. Après l'ingestion initiale de données dans Data 360, un flux de données extrait de nouvelles données en fonction de planifications spécifiques et actualise les données. Les informations d'actualisation des données peuvent varier selon le connecteur à partir duquel le flux de données ingère les données.
| Nom du champ | Description |
|---|---|
| Date d'actualisation | La date et l'heure de la dernière actualisation des données, affichées sous le fuseau horaire de votre organisation. |
| Mode d'actualisation | La méthode d'actualisation des données pendant chaque cycle, par exemple une actualisation complète ou incrémentielle. |
| Durée | Temps nécessaire pour l'actualisation des données. |
| Statut | Le statut de la dernière actualisation. |
| Enregistrements traités | Le nombre d'enregistrements traités pendant le cycle d'actualisation. |
| Enregistrements ajoutés | Le nombre d'enregistrements ingérés ou ajoutés pendant le cycle d'actualisation. |
| Enregistrements retirés | Le nombre d'enregistrements supprimés de Data Cloud pendant un cycle d'actualisation. |
| Enregistrements de problème | Le nombre d'enregistrements problématiques non ingérés en raison de Problèmes de qualité des données. Si une ligne rencontre des échecs partiels, le système compte la ligne comme un seul enregistrement à problème. De la même façon, si une ligne rencontre un échec total, le système compte la ligne comme un seul enregistrement à problème. Le système se concentre sur le nombre de lignes affectées, pas sur les échecs individuels sur une ligne. |
Historique d'actualisation des objets Data Lake
Visualisez l'onglet Historique d'actualisation dans l'accueil de l'enregistrement Objet lac de données pour consulter les statistiques au niveau de l'enregistrement. Les statistiques sont agrégées dans des fenêtres horaires et l'historique d'actualisation est conservé pendant 20 jours maximum. Les informations sont disponibles pour les objets lac de données utilisés par des flux de données et des transformations de données. Si aucun enregistrement de données n'est modifié dans un objet lac de données pendant la période, aucun détail n'est répertorié sous l'onglet Historique d'actualisation.
| Nom du champ | Description |
|---|---|
| Heure de début | L'heure de début d'une période horaire d'agrégation des statistiques au niveau de l'enregistrement. Il est affiché sous le fuseau horaire de votre organisation. |
| Heure de fin | L'heure de fin d'une période horaire d'agrégation des statistiques au niveau de l'enregistrement. Il est affiché sous le fuseau horaire de votre organisation. |
| Nombre total d'enregistrements | Le nombre total d'enregistrements dans l'objet lac de données à la fin de la période. |
| Enregistrements ajoutés | Le nombre d'enregistrements ajoutés à l'objet lac de données pendant la période. |
| Enregistrements mis à jour | Le nombre d'enregistrements mis à jour dans l'objet lac de données pendant la période. |
| Enregistrements retirés | Le nombre d'enregistrements supprimés de l'objet lac de données pendant la période. |
Compréhension de la différence entre les métriques de flux de données et d'objet lac de données
L'historique d'actualisation du flux de données et l'historique d'actualisation de l'objet lac de données offrent des vues différentes de vos données.
| Fonctionnalité | Historique des flux de données | Historique d'actualisation DLO |
|---|---|---|
| Perspective | Vue Logique métier | Vue Stockage |
| Focus | Enregistrements traités à partir de la source (par exemple, Snowflake) | Opérations au niveau du fichier dans le stockage Lac de données |
| Enregistrements ajoutés | Nouveaux enregistrements à partir de la source | Enregistrements écrits dans de nouveaux fichiers de stockage |
| Enregistrements retirés | Enregistrements supprimés de la source | Enregistrements de fichiers de stockage réécrits ou remplacés |
Exemple
Vous traitez 13 169 nouvelles lignes dans un tableau qui contient déjà 7 083 765 lignes.
- Le flux de données affiche : 13 169 enregistrements ajoutés
- L'actualisation de l'objet lac de données affiche : 7 083 765 enregistrements retirés et 7 096 934 enregistrements ajoutés
Data 360 a réécrit le tableau de lignes 7M+ complet pour valider en toute sécurité les modifications 13K. Nombre total de tableaux = Enregistrements ajoutés - Enregistrements retirés.
Pour la facturation et la consommation de crédit, consultez toujours les métriques Historique d'actualisation des flux de données, qui reflètent les données métiers réellement traitées.
