Vous êtes ici :
Suppression d'enregistrements en utilisant un fichier Supprimer
Vous pouvez supprimer des enregistrements de données ingérés en utilisant le connecteur AWS S3, Google Cloud Storage (GCS), Microsoft Azure, l'API Ingestion ou SFTP en créant un fichier de suppression au format CSV ou Parquet. L'ingestion de fichiers Parquet est prise en charge par les flux de données S3, GCS et Azure.
Familiarisez-vous avec les formats de fichier pris en charge dans Data 360 pour comprendre les considérations relatives aux divers formats de fichier.
Lorsque vous supprimez plus de 600 000 enregistrements entre deux actualisations, le flux de données effectue une actualisation complète.
Suppression d'enregistrements de données
Créez un fichier de suppression et chargez-le dans le dossier de suppression.
-
Créez un fichier de suppression avec la liste des clés primaires des enregistrements à supprimer.
Le champ primaryKey du fichier de suppression doit correspondre au type de données de la clé primaire de l'objet lac de données. Par exemple, si le champ de clé primaire de l'objet lac de données est un chiffre, le type de données principalKey du fichier de suppression doit être un chiffre. Dans le fichier de suppression, placez les valeurs de clé primaire entre guillemets doubles pour vous assurer que le délimiteur de fichier correct est détecté.
- Si vous supprimez des enregistrements ingérés depuis un fichier CSV, créez un fichier de suppression headerless au format CSV.
- Si vous supprimez des enregistrements ingérés à partir d'un fichier Parquet, créez un fichier de suppression Parquet contenant une colonne unique nommée primaryKey.
-
Nommez le fichier de suppression avec le préfixe Deletion_ et le nom du fichier source.
Le nom du fichier de suppression est sensible à la casse. Assurez-vous que le préfixe est "Deletion_" et que le nom du fichier source ne change pas. Par exemple, si un fichier s'intitule Client*, qui contient un caractère générique, vous pouvez nommer votre fichier de suppression Deletion_Customer.csv ou Deletion_Customer.parquet.
- Dans le répertoire à partir duquel les fichiers sources sont ingérés, créez un sous-dossier nommé supprimer.
- Chargez le fichier de suppression dans le dossier supprimer.
Suppression d'enregistrements de données cryptées
Vous pouvez supprimer les enregistrements de données cryptées qui ont été ingérés en utilisant un connecteur SFTP.
- Localisez le fichier de schéma créé lors de la configuration de la connexion SFTP.
- Vérifiez que le fichier de schéma est au format correct et qu'il n'est pas corrompu. Le format de fichier requis est décrit dans les étapes ci-dessus pour la suppression d'enregistrements en utilisant un fichier de suppression.
- Pour ajouter le fichier de schéma au dossier de suppression désigné et le supprimer, suivez les étapes ci-dessus pour supprimer des enregistrements en utilisant un fichier de suppression. Avant de supprimer, vérifiez que le dossier de suppression et ses dossiers parent et de pied de page disposent des autorisations Lire, Écrire et Supprimer.
Examinons un scénario dans lequel votre flux de données est configuré pour ingérer un fichier nommé account-file en utilisant un caractère générique account-*. Le fichier est extrait d'un compartiment comptes-compartiment et d'un dossier nommé comptes-dossier.
- Pour supprimer des enregistrements, créez un dossier intitulé Supprimer sous le dossier des comptes.
- Selon le format du fichier, créez un fichier sous le nom Deletion_accounts-.csv ou Deletion_accounts-.parquet.
- Vous avez une arborescence des dossiers dossier-comptes/supprimer/Deletion_comptes-.csv ou dossier-comptes/supprimer/Deletion_comptes-.parquet.
Exemple de fichier de suppression CSV
"0000-0000-0000"
"0000-0000-0001"
"0000-0000-0002"
Exemple de fichier de suppression Parquet
primaryKey
"0000-0000-0000"
"0000-0000-0001"
"0000-0000-0002"
