データストリームの設定と更新モード
データストリームを使用すると、ソースシステムからデータを取り込むジョブをスケジュールまたは実行できます。これらのジョブは、ソースシステムから接続されたデータストリームにデータを取り込みます。データを取り込む方法と頻度のオプションは、コネクタの種類によって異なります。データストリーム設定を使用して、データストリームの実行パラメーターを作成または変更します。
必要なエディション
| 使用可能なエディション: Lightning Edition |
更新モード
[更新モード] 設定では、データをデータレイクオブジェクト (DLO) に取り込む方法を決定します。これらのモードを効率的に使用すると、データ処理の効率が向上するため、データの新鮮度が向上し、コストが削減されます。
| 設定 | 説明 |
|---|---|
| 増分 | このモードは、[日時] 項目があるほとんどの非ファイルベースのデータストリームで使用できます。受信レコードが最後にいつ変更されたかを示す項目を選択します。更新のたびに、前回の更新以降に追加または変更されたデータでデータストリームが更新されます。 データが失われないように、各ジョブの実行中に前回の実行の最後の数件のレコードが再処理されます。 増分更新された DLO からレコードを削除するには、ソースシステムで削除されたレコードに [レコードを削除] フラグを付けます。たとえば、 Zero Copy データフェデレーションでは増分更新もサポートされますが、増分更新操作中のレコードの削除はサポートされません。詳細は、「データフェデレーションのキャッシュまたはアクセラレーション」を参照してください。 |
| 更新/挿入 | このモードは、ファイルベースのコネクタから作成されたデータストリームで使用できます。更新のたびに、前回の更新以降に追加または変更されたデータでデータストリームが更新されます。 更新モードが更新/挿入に設定されている場合、ファイルを使用して DLO からレコードを効率的に削除できます。「 削除ファイルを使用したレコードの削除」を参照してください。 |
| フル更新 | 更新サイクルごとに、すべての既存のデータが削除され、新しくインポートされたデータセットに置き換えられます。他の更新設定を使用できない場合、フル更新がデフォルトの更新モードになります。 |
条件付き設定
| 設定 | 説明 |
|---|---|
| 検索条件 | 検索条件を使用して、指定した条件を満たすレコードのみを抽出します。条件の構文はソースシステムによって異なります。たとえば、SQL92 構文を使用するソースでは、検索条件は s_nationkey = 10 and
s_acctbal > 2000 になります。 |
| サポートされている演算子 | データベースソースについては、以下の「サポートされる演算子」セクションのリストを参照してください。 |
ファイル設定
これらの設定は、ファイルベースのコネクタを使用するデータストリームに固有です。
| 設定 | 説明 |
|---|---|
| ファイルが見つからない場合にエラーを記録 | 有効化されている場合、データストリームの実行中にファイルが見つからなかったときは、その実行の更新履歴項目には「失敗」と表示されます。データストリームエラー通知に登録すると、通知がトリガーされます。詳細は、「Data Cloud: フローを使用したイベント通知の制御」を参照してください。 この設定が有効になっていない場合、データストリームの実行中にファイルが見つからなかったときは、更新履歴にレコードが 0 と表示されますが、状況は成功となります。 |
| ヘッダーレスファイルの取得が有効 | 設定すると、Data 360 はヘッダーのないデータレコードを受け入れます。ヘッダー情報はスキーマの生成時の最初の実行に必要であるため、データストリームの作成中はこの設定を有効にしないでください。この設定は、最初の実行後に有効にできます。 データが破損しないように、受信データレコードの項目の順序を維持します。 |
| 新規ファイルのみを更新します | 設定されている場合、データストリームが最初に実行されたときに、すべてのファイルが取得されます。それ以降の実行では、新しいファイルのみが取得されます。 |
| 初期ファイルをすぐに更新します | 設定すると、Data 360 はスケジュールされた実行まで待機せず、すぐに初期ファイルを取得します。 |
サポートされる演算子、関数、キーワード
データベースソースの場合、WHERE 句は次の機能をサポートします。
サポートされている演算子
- 比較: <、>、<=、>=、=、<>
- パターンマッチング: LIKE、RLIKE
- Null チェック: IS NULL、IS NOT NULL
- メンバーシップを設定: IN, NOT IN
- 範囲評価: BETWEEN
- ユニーク性: DISTINCT
サポートされる関数とキーワード
WHERE 句内では、次の SQL 関数および式を使用できます。
CEILCFLOORCASTTRIMTIMESTAMPDATE
WHERE 句でサポートされない
次の構造はサポートされておらず、使用するとエラーが発生します。
- DML 操作:
INSERT、UPDATE、DELETE - 複雑なクエリ構造:
JOIN,UNION、INTERSECT、サブクエリ - 制御文字: セミコロン (;)
- 上記のサポート対象のセクションに明示的にリストされていない他の SQL 関数またはキーワード
スケジュール
頻度設定では、データストリームジョブの実行間隔を説明します。サポートされるスケジュール間隔は、コネクタの機能によって異なります。
| 設定 | 説明 |
|---|---|
| 頻度 | 関連する頻度を選択して、データ更新の頻度を設定します。使用可能な更新頻度は次のとおりです。
すべての頻度は UTC で、フル更新と増分更新の両方に適用されます。 AWS S3、Azure Blob Storage、および Google Cloud Storage データストリームの間隔は 5、15、または 30 分です。これらのコネクタでは、データを同期し、ジョブを重複排除して間隔を狭めることができます。 |
