Usted está aquí:
Supervisión de deriva (Beta)
Utilice Supervisión de deriva en Data 360 para realizar un seguimiento de la degradación predictiva del modelo, que se produce cuando la distribución de predicciones del modelo cambia significativamente con el tiempo. La desviación indica cambios en el comportamiento del cliente, las condiciones comerciales o los patrones de datos subyacentes.
Utilice la supervisión de deriva en Data 360 para realizar un seguimiento de estos dos tipos de deriva entre modelos binarios y de regresión activos.
Desviación variable
La desviación de variable se produce cuando la distribución de datos de entrada en vivo cambia de datos de entrenamiento. Por ejemplo, un modelo de puntuación de candidatos entrenado en correo electrónico y candidatos de búsqueda orgánica se desvía cuando una nueva campaña de repente expulsa la mayoría de los candidatos de las redes sociales.
El gráfico Deriva variable a lo largo del tiempo visualiza cómo cambia la distribución de variables de entrada a lo largo del tiempo. Las puntuaciones más bajas indican datos de entrada estables, mientras que las puntuaciones más altas indican una desviación mayor que puede afectar al rendimiento del modelo.
El gráfico Desviación por variable visualiza puntuaciones de desviación entre variables de entrada para ayudar a identificar qué variables contribuyen más a la desviación general. Las puntuaciones más bajas indican datos de entrada estables, mientras que las puntuaciones más altas indican una desviación mayor que puede afectar al rendimiento del modelo.
Para investigar una variable específica, vea el desglose a nivel de variable y abra el gráfico de desviación específico de variable.
Deriva de predicción
La desviación de predicciones se produce cuando la distribución de predicciones cambia significativamente con el tiempo, lo que puede indicar cambios en el comportamiento de los clientes, las condiciones comerciales o los patrones de datos subyacentes.
El gráfico Deriva de predicción a lo largo del tiempo muestra cómo cambian las distribuciones de predicción de modelo a lo largo del tiempo. Las puntuaciones más bajas indican predicciones estables, mientras que las puntuaciones más altas indican una mayor desviación y posibles cambios en patrones de datos subyacentes.
El gráfico Distribución de puntuación de deriva muestra la distribución y la frecuencia de puntuaciones de deriva de predicción entre ejecuciones de inferencia. Las puntuaciones de desviación ascendentes indican una fiabilidad reducida del modelo y señalan la necesidad de volver a entrenar. Para identificar si la desviación se produce solo durante periodos específicos o aumenta de forma coherente con el tiempo, utilice este gráfico.
| ESTADO | RANGO DE PUNTUACIÓN |
|---|---|
| Deriva estable | 0.0–0.1 |
| Deriva moderada | 0.1–0.2 |
| Significativo | >= 0.2 |
Deriva de modelo para un modelo activado
Para supervisar cambios en un modelo activado, revise sus mediciones de desviación en la ficha Modelos de IA en Data 360. El panel de desviación muestra tarjetas para desviación variable y desviación de predicción. Para realizar un seguimiento de los cambios de modelo a lo largo del tiempo, evalúe estas mediciones por día, semana o mes.
Cada tarjeta de desviación muestra estos detalles:
-
Puntuación y estado de desviación actual: desviación estable, moderada o significativa
-
Indicador de tendencia que muestra si la desviación está aumentando o disminuyendo
-
Marcadores de versión en el gráfico de tendencias que indican cuándo se activó una nueva versión de modelo
Reentrenamiento de modelo
Cuando las puntuaciones de desviación alcanzan el intervalo moderado o significativo, vuelva a entrenar el modelo para alinearlo con patrones de datos actuales. Para solucionar la desviación, entrene el modelo utilizando un conjunto de datos actualizado y luego active la nueva versión. La activación actualiza la línea base de desviación para reflejar los nuevos datos de entrenamiento y agrega marcadores de versión a los gráficos de tendencias de desviación.
Consideraciones sobre el modelo
-
La supervisión de deriva solo está disponible para modelos binarios y de regresión y para inferencias basadas en flujos o API.
-
Asegúrese de que se está ejecutando al menos un trabajo de inferencia.
-
Una organización puede calcular la desviación entre todos los trabajos de inferencia activos para un modelo. Si un modelo tiene múltiples trabajos de inferencia, las puntuaciones de desviación reflejan datos agregados entre todos los trabajos.
-
Los gráficos de desviación básicos están disponibles sin coste adicional. Un análisis más profundo por trabajo de inferencia o canal de inferencia es una función de pago que consume créditos de Data 360.
