Sie befinden sich hier:
Driftüberwachung (Beta)
Verwenden Sie die Driftüberwachung in Data 360, um die Verschlechterung des Prognosemodells zu verfolgen, die auftritt, wenn sich die Verteilung der Modellprognosen im Laufe der Zeit erheblich ändert. Die Drift gibt Veränderungen im Kundenverhalten, in den Geschäftsbedingungen oder in den zugrunde liegenden Datenmustern an.
Verwenden Sie die Driftüberwachung in Data 360, um diese beiden Drifttypen über aktive Binär- und Regressionsmodelle hinweg zu verfolgen.
Variablendrift
Die Variablendrift tritt auf, wenn sich die Verteilung der Live-Eingabedaten von den Trainingsdaten entfernt. Ein Leadbewertungsmodell, das auf E-Mail- und organische Such-Leads trainiert wurde, driftet beispielsweise ab, wenn eine neue Kampagne plötzlich die meisten Leads aus sozialen Medien steuert.
Das Diagramm "Variable Drift Over Time" (Variable Drift im Zeitverlauf) visualisiert, wie sich die Verteilung der Eingabevariablen im Zeitverlauf ändert. Geringere Bewertungen zeigen stabile Eingabedaten an, während höhere Bewertungen auf eine stärkere Abweichung hindeuten, die sich auf die Modellleistung auswirken kann.
Das Diagramm "Drift nach Variable" visualisiert Driftbewertungen zwischen Eingabevariablen, um zu ermitteln, welche Variablen am stärksten zur Gesamtdrift beitragen. Geringere Bewertungen zeigen stabile Eingabedaten an, während höhere Bewertungen auf eine stärkere Abweichung hindeuten, die sich auf die Modellleistung auswirken kann.
Wenn Sie eine bestimmte Variable untersuchen möchten, zeigen Sie die Aufschlüsselung auf Variablenebene an und öffnen Sie das variablenspezifische Driftdiagramm.
Prognosedrift
Die Prognoseabweichung tritt auf, wenn sich die Verteilung der Prognosen im Laufe der Zeit erheblich ändert, was auf Verschiebungen im Kundenverhalten, in den Geschäftsbedingungen oder in zugrunde liegenden Datenmustern hindeuten kann.
Das Diagramm "Prognosedrift im Zeitverlauf" zeigt, wie sich die Modellprognoseverteilungen im Zeitverlauf ändern. Niedrigere Bewertungen zeigen stabile Prognosen an, während höhere Bewertungen auf eine stärkere Abweichung und potenzielle Verschiebungen der zugrunde liegenden Datenmuster hinweisen.
Im Diagramm "Drift Score Distribution" (Verteilung der Driftbewertung) werden die Verteilung und die Häufigkeit der Prognosedriftbewertungen über Rückschlussausführungen hinweg angezeigt. Steigende Driftbewertungen weisen auf eine verringerte Modellzuverlässigkeit hin und signalisieren die Notwendigkeit einer erneuten Schulung. Verwenden Sie dieses Diagramm, um zu ermitteln, ob die Drift nur in bestimmten Zeiträumen auftritt oder im Laufe der Zeit konstant zunimmt.
| STATUS | BEWERTUNGSBEREICH |
|---|---|
| Stabile Drift | 0.0–0.1 |
| Moderate Drift | 0.1–0.2 |
| Signifikant | >= 0.2 |
Modelldrift für ein aktiviertes Modell
Überprüfen Sie zum Überwachen von Änderungen in einem aktivierten Modell dessen Drift-Kennzahlen auf der Registerkarte "AI-Modelle" in Data 360. Im Drift-Dashboard werden Karten für die variable Drift und die Prognosedrift angezeigt. Bewerten Sie diese Kennzahlen nach Tag, Woche oder Monat, um Modelländerungen im Laufe der Zeit zu verfolgen.
Auf jeder Driftkarte werden die folgenden Details angezeigt:
-
Aktuelle Driftbewertung und Status – stabile, moderate oder signifikante Drift
-
Trendindikator, der anzeigt, ob die Drift zunimmt oder abnimmt
-
Versionsmarkierungen im Trenddiagramm, die angeben, wann eine neue Modellversion aktiviert wurde
Modellneuschulung
Wenn Driftbewertungen den mittleren oder signifikanten Bereich erreichen, trainieren Sie das Modell neu, um es an aktuelle Datenmuster anzupassen. Trainieren Sie das Modell mithilfe eines aktualisierten Datensets und aktivieren Sie dann die neue Version, um die Abweichung zu beheben. Durch die Aktivierung wird die Drift-Basislinie aktualisiert, um die neuen Trainingsdaten zu berücksichtigen, und den Drift-Trenddiagrammen werden Versionsmarkierungen hinzugefügt.
Überlegungen zum Modell
-
Die Driftüberwachung ist nur für Binär- und Regressionsmodelle sowie für Flow- oder API-basierte Rückschlüsse verfügbar.
-
Stellen Sie sicher, dass mindestens ein Rückschlussauftrag ausgeführt wird.
-
Eine Organisation kann die Drift über alle aktiven Rückschlussaufträge für ein Modell berechnen. Wenn ein Modell mehrere Rückschlussaufträge aufweist, spiegeln Driftbewertungen aggregierte Daten über alle Aufträge hinweg wider.
-
Grundlegende Driftdiagramme sind ohne Aufpreis verfügbar. Bei der detaillierteren Analyse nach Rückschlussauftrag oder Rückschlusskanal handelt es sich um eine kostenpflichtige Funktion, die Data 360-Gutschriften verbraucht.
