Usted está aquí:
Monitoreo de deriva (Beta)
Utilice Monitoreo de deriva en Data 360 para realizar un seguimiento de la degradación predictiva del modelo, que se produce cuando la distribución de predicciones del modelo cambia significativamente con el tiempo. La desviación indica cambios en el comportamiento del cliente, las condiciones de negocio o los patrones de datos subyacentes.
Utilice el monitoreo de deriva en Data 360 para realizar un seguimiento de estos dos tipos de deriva entre modelos binarios y de regresión activos.
Deriva de variable
La desviación de variable se produce cuando la distribución de datos de entrada en vivo cambia de datos de entrenamiento. Por ejemplo, un modelo de puntuaje de prospectos entrenado en email y prospectos de búsqueda orgánica se desvía cuando una nueva campaña expulsa repentinamente la mayoría de prospectos de las redes sociales.
El gráfico Deriva variable a lo largo del tiempo visualiza cómo cambia la distribución de variables de entrada a lo largo del tiempo. Los puntuajes más bajos indican datos de entrada estables, mientras que los puntuajes más altos indican una desviación mayor que puede afectar al desempeño del modelo.
El gráfico Desviación por variable visualiza puntuajes de desviación entre variables de entrada para ayudar a identificar qué variables contribuyen más a la desviación general. Los puntuajes más bajos indican datos de entrada estables, mientras que los puntuajes más altos indican una desviación mayor que puede afectar al desempeño del modelo.
Para investigar una variable específica, vea el desglose a nivel de variable y abra el gráfico de desviación específico de variable.
Deriva de predicción
La desviación de predicción se produce cuando la distribución de predicciones cambia significativamente con el tiempo, lo que puede indicar cambios en el comportamiento del cliente, las condiciones de negocio o los patrones de datos subyacentes.
El gráfico Deriva de predicción a lo largo del tiempo muestra cómo cambian las distribuciones de predicción de modelo a lo largo del tiempo. Los puntuajes más bajos indican predicciones estables, mientras que los puntuajes más altos indican mayor desviación y posibles cambios en patrones de datos subyacentes.
El gráfico Distribución de puntuaje de deriva muestra la distribución y la frecuencia de puntuajes de deriva de predicción entre ejecuciones de inferencia. Los puntuajes de desviación ascendentes indican una fiabilidad reducida del modelo y señalan la necesidad de volver a entrenar. Para identificar si la desviación se produce solo durante periodos específicos o aumenta de forma coherente con el tiempo, utilice este gráfico.
| ESTADO | RANGO DE PUNTUAJE |
|---|---|
| Deriva estable | 0.0–0.1 |
| Deriva moderada | 0.1–0.2 |
| Significativo | >= 0.2 |
Deriva de modelo para un modelo activado
Para monitorear los cambios en un modelo activado, revise sus mediciones de desviación en la ficha Modelos de IA en Data 360. El tablero de desviación muestra tarjetas para desviación variable y desviación de predicción. Para realizar un seguimiento de los cambios de modelo a lo largo del tiempo, evalúe estas mediciones por día, semana o mes.
Cada tarjeta de desviación muestra estos detalles:
-
Puntuaje y estado de desviación actual: desviación estable, moderada o significativa
-
Indicador de tendencia que muestra si la desviación está aumentando o disminuyendo
-
Marcadores de versión en el gráfico de tendencias que indican cuándo se activó una nueva versión de modelo
Reentrenamiento de modelo
Cuando los puntuajes de desviación alcanzan el intervalo moderado o significativo, vuelva a entrenar el modelo para alinearlo con patrones de datos actuales. Para solucionar la desviación, entrene el modelo utilizando un conjunto de datos actualizado y luego active la nueva versión. La activación actualiza la línea base de desviación para reflejar los nuevos datos de entrenamiento y agrega marcadores de versión a los gráficos de tendencias de desviación.
Consideraciones sobre el modelo
-
El monitoreo de deriva solo está disponible para modelos binarios y de regresión y para inferencias basadas en flujos o API.
-
Asegúrese de que se está ejecutando al menos un trabajo de inferencia.
-
Una organización puede calcular la desviación entre todos los trabajos de inferencia activos para un modelo. Si un modelo tiene múltiples trabajos de inferencia, los puntuajes de desviación reflejan datos agregados entre todos los trabajos.
-
Los gráficos de desviación básicos están disponibles sin costo adicional. Un análisis más profundo por trabajo de inferencia o canal de inferencia es una función de pago que consume créditos de Data 360.
