Usted está aquí:
Configuración de transmisión de datos y modos de actualización
Con transmisiones de datos, puede programar o ejecutar trabajos para ingresar datos desde un sistema de origen. Estos trabajos extraen datos del sistema de origen en la transmisión de datos conectada. El método y las opciones de frecuencia para el ingreso de datos dependen del tipo de conector. Utilice la configuración de transmisión de datos para crear o cambiar los parámetros de ejecución de una transmisión de datos.
Ediciones necesarias
| Disponible en: Lightning Edition |
Modos de actualización
La configuración de Modo de actualización determina cómo se ingresan los datos en un objeto de lago de datos (DLO). El uso eficiente de estos modos garantiza la actualización de los datos y la reducción de costos mejorando la eficiencia del procesamiento de datos.
| Configuración | Descripción |
|---|---|
| incremental | Este modo está disponible para la mayoría de transmisiones de datos no basadas en archivos que tienen un campo Fecha y hora. Seleccione el campo que indica cuándo se modificó por última vez el registro entrante. Para cada actualización, la transmisión de datos se actualiza con datos agregados o cambiados desde la última actualización. Para asegurarse de que no hay pérdida de datos, los últimos registros de la ejecución anterior se vuelven a procesar durante cada ejecución de trabajo. Para eliminar registros de un DLO actualizado incrementalmente, marque registros eliminados en su sistema de origen con un indicador Eliminar registro. Por ejemplo, La actualización incremental también se admite en Federación de datos de copia cero, pero no se admite la eliminación de registros durante operaciones de actualización incremental. Para obtener más información, consulte Almacenamiento en caché o Aceleración en Federación de datos. |
| Upsert | Este modo está disponible para transmisiones de datos creadas desde conectores basados en archivos. Para cada actualización, la transmisión de datos se actualiza con datos agregados o cambiados desde la última actualización. Cuando el modo de actualización está establecido para alterarse, puede eliminar de forma eficiente registros de un DLO utilizando un archivo. Consulte Eliminar registros utilizando un archivo Eliminar. |
| Actualización completa | Durante cada ciclo de actualización, todos los datos existentes se eliminan y se sustituyen por el conjunto de datos recién importado. Si no hay ningún otro parámetro de actualización disponible, la actualización completa es el modo de actualización predeterminado. |
Configuración condicional
| Configuración | Descripción |
|---|---|
| Filtro | Utilice un filtro para extraer solo los registros que cumplen la condición especificada. La sintaxis de la condición depende del sistema de origen. Por ejemplo, en un origen que se basa en la sintaxis de SQL92, el filtro podría ser s_nationkey = 10 and
s_acctbal > 2000. |
| Operadores admitidos | Para consultar los orígenes de la base de datos, consulte la lista en la sección titulada "Operadores admitidos" a continuación para obtener más detalles. |
Configuración de archivos
Estos parámetros son específicos para transmisiones de datos que utilizan conectores basados en archivos.
| Configuración | Descripción |
|---|---|
| Registrar un error si no se encuentra ningún archivo | Cuando se activa y no se encuentra ningún archivo durante la ejecución de la transmisión de datos, la partida en el historial de actualización para esa ejecución muestra un estado de fallo. Se desencadena una notificación si se suscribe a notificaciones de fallo de transmisión de datos. Para obtener más información, consulte Data Cloud: Controle notificaciones de eventos utilizando flujos. Cuando esta configuración no está activada y no se encuentra ningún archivo durante la ejecución de la transmisión de datos, el historial de actualización muestra 0 registros pero con un estado “Operación realizada con éxito”. |
| Es archivo de recuperación sin encabezado activado | Cuando se establece, Data 360 acepta los registros de datos sin encabezados. No active este parámetro mientras crea la transmisión de datos porque la información del encabezado es necesaria para la ejecución inicial cuando se genera el esquema. Puede activar el parámetro después de la ejecución inicial. Para evitar daños en los datos, mantenga el orden de los campos en los registros de datos entrantes. |
| Actualizar solo dos archivos | Cuando se establece, todos los archivos se recuperan cuando la transmisión de datos se ejecuta por primera vez. Para ejecuciones posteriores, solo se recuperan nuevos archivos. |
| Actualizar archivo inicial inmediatamente | Cuando se establece, Data 360 no espera hasta la ejecución programada y recupera el archivo inicial inmediatamente. |
Operadores, funciones y palabras clave admitidos
Para orígenes de base de datos, la cláusula WHERE admite lo siguiente:
Operadores admitidos
- Comparación: <, >, <=, >=, =, <>
- Coincidencia de patrón: LIKE, RLIKE
- Comprobaciones nulas: ES NULO, NO ES NULO
- Establecer pertenencia: EN, NO EN
- Evaluación de intervalo: BETWEEN
- Exclusividad: DISTINCT
Funciones y palabras clave admitidas
Las siguientes funciones y expresiones SQL están permitidas en la cláusula WHERE:
CEILCFLOORCASTTRIMTIMESTAMPDATE
No admitido en la cláusula WHERE
Las siguientes construcciones no son compatibles y darán como resultado un error si se utilizan:
- Operaciones DML:
INSERT,UPDATE,DELETE - Estructuras de consulta complejas:
UNIONdeJOIN,,INTERSECTy subconsultas - Caracteres de control: semicolons (;)
- Cualquier otra función SQL o palabra clave no enumerada explícitamente en las secciones compatibles anteriores
Programación
La configuración de frecuencia describe el intervalo de tiempo entre ejecuciones de su trabajo de transmisión de datos. En base a las funciones del conector, los intervalos de programación admitidos pueden variar.
| Configuración | Descripción |
|---|---|
| Frecuencia | Establezca la frecuencia de actualización de datos seleccionando la frecuencia relevante. Las frecuencias de actualización disponibles son:
Todos los tiempos de frecuencia están en UTC y son aplicables para actualizaciones completas e incrementales. Las transmisiones de datos de AWS S3, Azure Blob Storage y Google Cloud Storage tienen intervalos de 5, 15 o 30 minutos. Estos conectores pueden sincronizar datos y deduplicar trabajos para proporcionar estos intervalos estrechos. |
