Usted está aquí:
Tipos de ejecución de transformación de datos por lotes
Una transformación de datos por lotes se ejecuta en modo incremental o completo. Durante una ejecución incremental, la transformación se aplica únicamente a datos de entrada que se agregaron, actualizaron o eliminaron. Estos cambios pueden producirse a través de una transmisión de datos o desde el destino de otra transformación de datos por lotes que se ejecuta de forma incremental. Una ejecución completa procesa datos nuevos y existentes. No puede configurar el tipo de ejecución. Una transformación de datos por lotes selecciona el tipo de ejecución basándose en criterios específicos.
Ejecuciones incrementales
Estos criterios son obligatorios para una ejecución incremental.
- La transformación está programada.
- Las actualizaciones en datos de entrada son inferiores al 5% de la cantidad total de datos.
- Los objetos de entrada de datos son DLO o DMO.
- Para entradas de DMO, el campo de clave principal se asigna a un campo de clave principal en uno de sus DLO.
- Cuando se selecciona Sustituir para el modo de escritura de salida
Nota Al seleccionar "Reemplazar" como el modo de escritura de salida, se intenta ejecutar la transformación en modo incremental. Cuando la transformación se ejecuta en modo incremental, altera o elimina solo los registros de cambios, no los sustituye. Solo se cargan los cambios desde orígenes de entrada desde ejecuciones correctas anteriores y los datos se combinan con el nodo de salida. Cuando la transformación no es apta para el incremento, se ejecuta en modo completo.
Una ejecución incremental admite estas funciones.
- Depósitos
- Modificar atributos
- Soltar columnas
- Filtros
- Fórmulas de una sola fila
- Transformaciones de conversión de tipo de datos: Texto a fecha, Texto a número, Número a texto
- Transformaciones de fecha: Agregar o restar días o meses, Diferencia de fecha, Extraer
- Transformaciones de número: Rellenar
- Transformaciones de texto: Ajustar, Subcadena, División, Mayúsculas, Minúsculas, Sustituir, Dar formato a fecha
Durante ciertos escenarios, la desviación de datos puede causar registros duplicados o incorrectos en la salida de la transformación incremental. La desviación de datos se corrige en la siguiente ejecución completa. Consulte Derivación de datos en ejecuciones incrementales.
Ejecuciones completas
Una transformación con estas funciones requiere una ejecución completa.
- Ejecuciones manuales desencadenadas por un flujo o iniciadas haciendo clic en Ejecutar ahora
- Agregaciones
- Fórmulas de múltiples filas
- Uniones
- Actualizaciones en más del 5% de la cantidad total de datos
- Cuando se selecciona Alterar para el modo de escritura de salida
- Cuando se utilizan DLO o DMO externos como orígenes de entrada
Una ejecución completa siempre se produce después de estas acciones, incluso si la transformación cumple los criterios para ejecutarse de forma incremental.
- Modificar una transformación
- Actualizar las asignaciones de DMO de entrada
- Reconstruir el objeto de datos de entrada
Para mitigar la desviación, siempre se produce una ejecución completa en la primera ejecución programada del día para todas las transformaciones. La desviación se produce cuando los resultados que las condiciones de filtro satisfechas anteriormente continúan apareciendo después de que ya no coincidan con las condiciones actualizadas. La ejecución completa diaria corrige este problema.
- Deriva de datos en ejecuciones incrementales
Al ejecutar una transformación de datos por lotes en modo incremental, la desviación de datos puede provocar que los objetos de salida incluyan registros cambiados en vez de filtrarlos o sustituirlos. La desviación de datos se corrige en la ejecución completa programada diariamente.
