您在此处:
数据流和数据湖对象刷新历史记录
Data 360 提供数据流接收的数据的记录级统计数据和处理到数据湖对象 (DLO) 中的记录。
数据流刷新历史记录
查看数据流记录主页上的刷新历史记录选项卡,了解记录统计信息。在首次将数据引入 Data 360 后,数据流会根据特定计划提取新数据并刷新数据。数据刷新信息因数据流接收数据的连接器而异。
| 字段名 | 描述 |
|---|---|
| 刷新日期 | 上次数据刷新的日期和时间,以贵组织的时区显示。 |
| 刷新模式 | 数据在每个周期中的刷新方式,例如完全或增量刷新。 |
| 持续时间 | 数据刷新所用的时间。 |
| 状态 | 上次刷新的状态。 |
| 已处理记录 | 刷新周期内处理的记录数量。 |
| 已添加记录 | 刷新周期中摄取或添加的记录数量。 |
| 删除的记录 | 刷新周期内从 Data Cloud 中删除的记录数量。 |
| 问题记录 | 由于数据质量问题而没有接收的问题记录的数量。如果某行遇到部分故障,系统会将该行视为一个问题记录。同样,如果某行遇到完全失败,系统会将行视为一个问题记录。系统会重点关注受影响的行数,而不是行内的单个故障。 |
数据湖对象刷新历史记录
查看 DLO 记录主页上的刷新历史记录选项卡,了解记录级统计数据。统计信息以每小时的时间窗口汇总,刷新历史记录最多保留 20 天。该信息适用于数据流和数据转换使用的 DLO。如果 DLO 中的数据记录在时间窗口中没有更改,则“刷新历史记录”选项卡上不会列出任何详细信息。
| 字段名 | 描述 |
|---|---|
| 开始时间 | 每小时时间窗口的开始时间,用于聚合记录级统计数据。它以贵组织的时区显示。 |
| 结束时间 | 每小时时间窗口的结束时间,用于聚合记录级统计数据。它以贵组织的时区显示。 |
| 记录总数 | DLO 中时间窗口结束时的记录总数。 |
| 已添加记录 | 在时间窗口内添加到 DLO 的记录数量。 |
| 记录已更新 | 在时间窗口中,DLO 中更新的记录数量。 |
| 删除的记录 | 在时间窗口内从 DLO 中删除的记录数量。 |
了解数据流和 DLO 度量之间的差异
数据流刷新历史记录和 DLO 刷新历史记录提供了不同的数据视图。
| 功能 | 数据流历史 | DLO 刷新历史记录 |
|---|---|---|
| 视角 | 业务逻辑视图 | 存储视图 |
| 焦点 | 从源处理的记录(例如 Snowflake) | Data Lake 存储中的文件级操作 |
| 已添加记录 | 来自源的新记录 | 写入新存储文件的记录 |
| 删除的记录 | 从源中删除的记录 | 正在重写或替换的存储文件中的记录 |
示例
您将 13,169 个新行处理到已经有 7,083,765 行的表中。
- 数据流显示:13,169 个记录已添加
- DLO 刷新显示:删除了 7,083,765 条记录,添加了 7,096,934 条记录
Data 360 重写了整个 7M 以上的行表,以安全地提交 13K 更改。表总数 = 添加的记录 - 删除的记录。
对于计费和信用消耗,请始终参考数据流刷新历史记录度量,该度量反映了处理的实际业务数据。
