Sie befinden sich hier:
Umgang mit häufigen Datenproblemen
Verarbeiten Sie allgemeine Probleme, die während der Datenvorbereitung für Einstein Discovery auftreten können.
Hinweis Einstein Discovery-Artikel sind nun Modelle. Es wird gerade an der Aktualisierung des Namens gearbeitet, es kann jedoch sein, dass Sie den bisherigen Namen noch an einigen Stellen sehen, bevor er ersetzt wird.
In der folgenden Tabelle sind einige Ansätze zur Handhabung häufiger Datenprobleme beim Vorbereiten von Daten für Analysen beschrieben.
Hinweis Einstein Discovery erkennt einige dieser Probleme bei der Analyse. Ist das der Fall, fordert Einstein Sie auf, das betreffenden Problem im Modell zu beheben, sodass eine Fehlerbehebung im Datenset nicht erforderlich ist. Weitere Informationen finden Sie unter Verarbeiten von Qualitätswarnungen.
| Problem | Ansatz | Siehe auch |
|---|---|---|
| Extreme Werte und Ausreißer | Die Einstein Discovery-Algorithmen reagieren empfindlich auf Ausreißer, da sich diese Werte auf Durchschnittswerte (Mittelwerte) und Standardabweichungen in statistischen Signifikanzberechnungen auswirken. Wenn Sie ungewöhnliche Werte oder Ausreißer finden, sollten Sie überprüfen, ob diese Datenpunkte relevant und echt sind. Ungewöhnliche Werte sind oftmals Fehler. Wenn die extremen Datenpunkte genau und vorhersagbar sind und wiederholt auftreten, sollten Sie sie nur entfernen, sofern diese Punkte nicht von Bedeutung sind. Sie können den Einfluss von Ausreißern reduzieren, indem Sie Transformationen anwenden oder die numerische Variable in eine klassierte kategoriale Variable umwandeln. | |
| Fehlende Werte | Die gängigste Korrektur bei fehlenden Werten ist die Imputation eines wahrscheinlichen oder erwarteten Werts mithilfe eines Mittel- oder berechneten Werts aus einer Verteilung. Die Verwendung eines Mittelwerts reduziert unter Umständen Ihre Standardabweichung. Daher ist der Ansatz der Schätzwertberechnung aus einer Verteilung zuverlässiger. Ein anderer Ansatz besteht darin, Datensätze mit fehlenden Werten zu entfernen. Seien Sie nicht zu ehrgeizig, wenn es darum geht, fehlende Werte herauszufiltern. Manchmal liegt das Muster in den fehlenden Daten. Wenn Sie zu viele Datensätze löschen, unterminieren Sie außerdem reale Aspekte in Ihrer Analyse. Einstein Discovery orientiert sich bei der Analyse an einem bestimmten Ergebnis. Wenn der Wert des angestrebten Ergebnisses in einer bestimmten Zeile fehlt, schließt Einstein Discovery diese Zeile aus der Analyse aus. |
|
| Falsche Werte | In Prognosealgorithmen wird davon ausgegangen, dass die Eingabeinformationen richtig sind. Sollten nur ein paar Zeilen falsche Werte aufweisen, sollten Sie diese Zeilen nach eigenem Ermessen aus der Analyse entfernen oder die falschen Werte durch richtigere oder Durchschnittswerte ersetzen. Wenn zahllose falsche Werte vorliegen, sollten Sie bestimmen, wie die Ungenauigkeiten entstanden sind und ob es möglich ist, sie zu korrigieren. Manchmal ist es besser, eine hochgradig fehleranfällige Variable zu entfernen, als sie in die Analyse einzubeziehen. | |
| Standardisieren von Kategoriewerten | Stellen Sie bei Kategoriewerten konsistente Kategorienamen sicher. Entfernen Sie unterschiedliche Schreibweisen wie Plurale oder Abkürzungen. Korrigieren Sie Tippfehler und andere Fehler. Verwenden Sie aussagekräftige, einprägsame und leicht zu interpretierende Bezeichnungen. | |
| Verzerrte Daten | Überprüfen Sie für stetige Variablen die Verteilungen, die zentrale Tendenz und die Streuung der Variablen. Diese Variablen werden mithilfe von verschiedenen statistischen Visualisierungsmethoden gemessen. Weisen Sie nach, dass die stetigen Variablen normalverteilt sind. Falls nicht, sollten Sie versuchen, die Schiefe zu reduzieren, um eine optimale Prognose zu erhalten. Verwenden Sie für kategoriale Variablen eine Häufigkeitstabelle zusammen mit einem Balkendiagramm, um die Verteilungen jeder Kategorie zu durchschauen. Wenn Variablenwerte schief verteilt sind, könnte Einstein Discovery verzerrte Modelle generieren. Wenn eine schiefe Verteilung korrigiert werden muss, transformieren Sie die Variable durch eine Funktion, beispielsweise mit der Box-Cox-Transformation. Durch die Korrektur wird eine Normalverteilung für die Variable erzielt. Die neu vorbereitete, transformierte Variable eignet sich wesentlich besser für Zwecke der Prognosemodellierung. | |
| Felder mit hoher Kardinalität | Bei Feldern mit hoher Kardinalität handelt es sich um Kategorieattribute, die viele unterschiedliche Werte enthalten. Beispiele sind Namen, Postleitzahlen oder Kontonummern. Obwohl diese Variablen hochgradig informativ sein können, kommen Attribute mit hoher Kardinalität in der Prognosemodellierung nur selten zum Einsatz. Durch die Einbeziehung der Attribute vergrößert sich die Dimensionalität des Datensets erheblich, wodurch es für die meisten Algorithmen schwierig wird, genaue Prognosemodelle zu erstellen. | |
| Binäre Ergebnisse und boolesche Variablen | Wenn eine Variable ein binäres Ergebnis aufweist (nur zwei mögliche Werte) und diese Werte durch Zahlen dargestellt werden (z. B. 1 und 0), konvertieren Sie diese numerischen Werte in Textwerte (z. B. "TRUE" und "FALSE" oder "NOTCHURNED" und "CHURNED"). Bei Lösungen, die den Klassifizierungsanwendungsfall (binäre Ergebnisse) implementieren, verlangt Einstein Discovery, dass die Ergebniswerte als Textwerte dargestellt werden. Bei anderen Variablen im Datenset kann durch das Konvertieren dieser Werte in Text die Interpretierbarkeit der Diagramme und Erläuterungen in den resultierenden Statistiken verbessert werden. | |
| Ordinale Variablen | Ordinale Variablen sind für Prognosemodelle problematisch. Ordinale Daten bestehen aus numerischen Werten auf einer arbiträren Skala, die so konzipiert ist, dass die Rangfolge innerhalb einer Menge von Datenpunkten abgebildet wird. Beispielsweise sind "Low" (Gering), "Medium" (Mittel) und "High" (Hoch) ordinal. Bei Prognosealgorithmen wird davon ausgegangen, dass die Variable intervall- oder verhältnisskaliert ist, sodass es zu Fehlern aufgrund nicht gegebener Skalenvoraussetzungen kommen kann. Ordinale Variablen werden als kategorial verarbeitet. Wenn Sie über ordinale Werte verfügen, sollten Sie sie in stetige oder kategoriale Werte transformieren. | |
| Doppelte, redundante oder hochgradig korrelierte Variablen | Minimieren Sie doppelte, redundante oder andere hochgradig korrelierte Variablen, in denen dieselben Informationen enthalten sind. Die Einstein Discovery-Algorithmen funktionieren besser ohne diese Typen kollinearer Variablen. Kollinearität tritt auf, wenn mindestens zwei Prädiktorvariablen hoch korreliert sind. Folglich kann eine mit substanzieller Genauigkeit aus der anderen linear vorhergesagt werden. Um Kollinearität zu vermeiden, sollten Sie weder mehrere Variablen, die hoch korreliert sind, einbeziehen noch Daten, die aus derselben Berichtshierarchie stammen. Beispielsweise leben Kunden aus Stuttgart zugleich in Baden-Württemberg. Überprüfen Sie anhand von Streudiagrammen, ob hohe Korrelationen zwischen zwei stetigen Variablen bestehen. Das Muster eines Streudiagramms gibt die Beziehung zwischen den Variablen an. Die Beziehung kann linear oder nichtlinear sein. Berechnen Sie zum Ermitteln der Stärke der Beziehung die Korrelation. Die Korrelation variiert zwischen −1 und +1. |
Konnten Sie Ihr Problem mithilfe dieses Artikels lösen?
Geben Sie uns Feedback, damit wir uns verbessern können.
