Data 360: アクセラレートされたデータストリームでの重複するプライマリキーからのレコード削除について

アクセラレーションを有効にする前に、ソースデータにユニークなプライマリキーがあることを確認することが重要です。これにより、取り込み時に重複レコードが通知なく除外されることに起因する予期しないデータの削除を回避できます。

ソースで重複するプライマリキー値を検証する方法

ソーステーブルに対し次の典型的な SQL クエリを実行し、重複するプライマリキー値を特定します。

SELECT  primary_key_column,  COUNT(*) AS record_countFROM  your_source_tableGROUP BY  primary_key_columnHAVING  COUNT(*) > 1;

置き換える内容:

• primary_key_column: これをストリームで使用されている実際のプライマリキー列に置き換えます。

• your_source_table: Data 360 にストリーミングされるソーステーブルの名前に置き換えます。

注意:

これは開始点としての汎用的なクエリです。正確な SQL 構文は、ソースプラットフォーム (BigQuery、Snowflake、Redshift など) によって異なる場合があります。環境の SQL ダイアレクトとスキーマに合わせてクエリを書き換えてください。

このクエリを使うと、ソースデータに複数回出現するキーを特定できます。キャッシュプロセス中にプラットフォームでプライマリキーの一意性が適用されるため、アクセラレーションが有効になっている場合は、このような重複が Data 360 によって自動的に削除される可能性があります。

この制限は 直接アクセスモードには適用されません。直接アクセスモードでは、データはソースからリアルタイムでクエリされ、プライマリキー制約は適用されません。