Vous êtes ici :
Surveillance des dérives (bêta)
Utilisez Drift Monitoring dans Data 360 pour suivre la dégradation prédictive du modèle, qui se produit lorsque la distribution des prédictions du modèle change de façon significative au fil du temps. La dérive indique des changements dans le comportement des clients, les conditions commerciales ou les modèles de données sous-jacents.
Utilisez la surveillance des dérives dans Data 360 pour suivre ces deux types de dérive à travers les modèles binaires et de régression actifs.
Dérive de variable
Une dérive de variable se produit lorsque la distribution des données d'entrée live s'éloigne des données d'apprentissage. Par exemple, un modèle de score des pistes entraîné sur les pistes par e-mail et de recherche organique dérive lorsqu'une nouvelle campagne chasse soudainement la plupart des pistes des médias sociaux.
Le graphique Variable Drift Over Time montre l'évolution de la distribution des variables d'entrée au fil du temps. Les scores inférieurs indiquent des données d'entrée stables, tandis que les scores supérieurs indiquent un écart plus important qui peut affecter les performances du modèle.
Le graphique Écart par variable montre les scores d'écart entre les variables d'entrée afin d'identifier les variables qui contribuent le plus à l'écart global. Les scores inférieurs indiquent des données d'entrée stables, tandis que les scores supérieurs indiquent un écart plus important qui peut affecter les performances du modèle.
Pour examiner une variable spécifique, consultez la répartition au niveau de la variable et ouvrez le graphique de dérive spécifique à la variable.
Dérive de prédiction
La dérive des prédictions se produit lorsque la distribution des prédictions change considérablement au fil du temps, ce qui peut indiquer des changements dans le comportement des clients, les conditions commerciales ou les modèles de données sous-jacents.
Le graphique Écart des prédictions au fil du temps montre l'évolution des distributions de prédiction du modèle au fil du temps. Les scores inférieurs indiquent des prédictions stables, tandis que les scores supérieurs indiquent une dérive plus importante et des changements potentiels dans les modèles de données sous-jacents.
Le graphique Distribution du score de dérive montre la distribution et la fréquence des scores de dérive de prédiction entre les exécutions d'inférence. L'augmentation des scores de dérive indique une fiabilité réduite du modèle et indique la nécessité d'un réentraînement. Pour déterminer si une dérive se produit uniquement pendant des périodes spécifiques ou augmente régulièrement au fil du temps, utilisez ce graphique.
| STATUT | PLAGE DE SCORE |
|---|---|
| Dérive stable | 0.0–0.1 |
| Modérer la dérive | 0.1–0.2 |
| Important | >= 0.2 |
Dérive du modèle pour un modèle activé
Pour suivre les modifications dans un modèle activé, consultez ses métriques de dérive sous l'onglet Modèles IA dans Data 360. Le tableau de bord de dérive affiche des cartes de dérive de variable et de dérive de prédiction. Pour suivre les modifications du modèle au fil du temps, évaluez ces métriques par jour, par semaine ou par mois.
Chaque carte de dérive affiche les détails suivants :
-
Score de dérive actuel et statut — dérive stable, modérée ou significative
-
Indicateur de tendance indiquant si l'écart augmente ou diminue
-
Marqueurs de version dans le graphique des tendances indiquant quand une nouvelle version du modèle a été activée
Réentraînement du modèle
Lorsque les scores de dérive atteignent la plage modérée ou significative, réentraînez le modèle pour l'aligner sur les modèles de données actuels. Pour remédier à cette dérive, entraînez le modèle en utilisant un jeu de données mis à jour, puis activez la nouvelle version. L'activation met à jour la base de dérive pour refléter les nouvelles données d'entraînement et ajoute des marqueurs de version aux graphiques de tendance de dérive.
Considérations relatives au modèle
-
La surveillance des dérives est disponible uniquement pour les modèles binaires et de régression, et pour les inférences basées sur un flux ou une API.
-
Assurez-vous qu'au moins une tâche d'inférence est en cours d'exécution.
-
Une organisation peut calculer la dérive entre toutes les tâches d'inférence actives d'un modèle. Si un modèle contient plusieurs tâches d'inférence, les scores de dérive reflètent les données agrégées dans toutes les tâches.
-
Les graphiques de dérive de base sont disponibles gratuitement. L'analyse approfondie par tâche d'inférence ou canal d'inférence est une fonctionnalité payante qui consomme des crédits Data 360.
