Loading
关于 Salesforce Data 360
数据流和数据湖对象刷新历史记录

数据流和数据湖对象刷新历史记录

Data 360 提供数据流接收的数据的记录级统计数据和处理到数据湖对象 (DLO) 中的记录。

数据流刷新历史记录

查看数据流记录主页上的刷新历史记录选项卡,了解记录统计信息。在首次将数据引入 Data 360 后,数据流会根据特定计划提取新数据并刷新数据。数据刷新信息因数据流接收数据的连接器而异。

字段名 描述
刷新日期 上次数据刷新的日期和时间,以贵组织的时区显示。
刷新模式 数据在每个周期中的刷新方式,例如完全或增量刷新。
持续时间 数据刷新所用的时间。
状态 上次刷新的状态。
已处理记录 刷新周期内处理的记录数量。
已添加记录 刷新周期中摄取或添加的记录数量。
删除的记录 刷新周期内从 Data Cloud 中删除的记录数量。
问题记录 由于数据质量问题而没有接收的问题记录的数量。如果某行遇到部分故障,系统会将该行视为一个问题记录。同样,如果某行遇到完全失败,系统会将行视为一个问题记录。系统会重点关注受影响的行数,而不是行内的单个故障。

数据湖对象刷新历史记录

查看 DLO 记录主页上的刷新历史记录选项卡,了解记录级统计数据。统计信息以每小时的时间窗口汇总,刷新历史记录最多保留 20 天。该信息适用于数据流和数据转换使用的 DLO。如果 DLO 中的数据记录在时间窗口中没有更改,则“刷新历史记录”选项卡上不会列出任何详细信息。

字段名 描述
开始时间 每小时时间窗口的开始时间,用于聚合记录级统计数据。它以贵组织的时区显示。
结束时间 每小时时间窗口的结束时间,用于聚合记录级统计数据。它以贵组织的时区显示。
记录总数 DLO 中时间窗口结束时的记录总数。
已添加记录 在时间窗口内添加到 DLO 的记录数量。
记录已更新 在时间窗口中,DLO 中更新的记录数量。
删除的记录 在时间窗口内从 DLO 中删除的记录数量。
备注
备注 DLO 记录主页上显示的字段映射计数与数据流字段映射页面上显示为映射的字段不匹配。这是因为某些系统字段的映射是系统管理的,不会显示在字段映射页面上。

了解数据流和 DLO 度量之间的差异

数据流刷新历史记录和 DLO 刷新历史记录提供了不同的数据视图。

功能 数据流历史 DLO 刷新历史记录
视角 业务逻辑视图 存储视图
焦点 从源处理的记录(例如 Snowflake) Data Lake 存储中的文件级操作
已添加记录 来自源的新记录 写入新存储文件的记录
删除的记录 从源中删除的记录 正在重写或替换的存储文件中的记录
备注
备注 Data 360 使用 Apache Iceberg 管理 Parquet 文件中的数据存储。Apache Iceberg 是一种表格格式,用于跟踪哪些文件包含您的数据。当数据更改时,Apache Iceberg 通常会重写整个文件。要更新甚至一个记录,Data 360 会将旧文件标记为已删除(删除所有记录),并使用旧记录和更改创建新文件。

示例

您将 13,169 个新行处理到已经有 7,083,765 行的表中。

  • 数据流显示:13,169 个记录已添加
  • DLO 刷新显示:删除了 7,083,765 条记录,添加了 7,096,934 条记录

Data 360 重写了整个 7M 以上的行表,以安全地提交 13K 更改。表总数 = 添加的记录 - 删除的记录。

对于计费和信用消耗,请始终参考数据流刷新历史记录度量,该度量反映了处理的实际业务数据。

 
正在加载
Salesforce Help | Article