Modellkarte "Stimmung erkennen"

Modellkarte "Stimmung erkennen"

Hier erhalten Sie grundlegende Informationen zum Modell "Stimmung erkennen". In dieser Tabelle finden Sie Details zum aktuellen Modell.

Kleinere Änderungen am Modell können während der Laufzeit der Version vorgenommen werden. Größere Änderungen werden in den Versionshinweisen bekannt gegeben.

Modelltraining

Das Modell "Stimmung erkennen" wurde anhand des GloVe-Wörterbuchs und der GloVe-Trainingsdaten trainiert. Um Textstimmungen zu lernen, wurde anhand des GloVe-Wörterbuchs Text aus den Trainingsdaten in Wortvektoren umgewandelt. Anschließend wurde die Stimmung auf der Grundlage der Bewertung, die für die einzelnen Kommentare in den Trainingsdaten vorliegt, ermittelt.

Das Modell wurde anhand des folgenden Prozesses trainiert.

1. Trainingsdaten sammeln. Die Trainingsdaten bestehen aus Produktrezensionen und den zugehörigen Bewertungen, beispielsweise 4 von 5 Sternen.
2. Die Trainingsdaten im Rahmen eines Vorabverarbeitungsprozesses in ein von GloVe gefordertes Format bringen.
3. Die Trainingsdaten über GloVe ausführen, um sie in Vektoren umzuwandeln. Wir haben das GloVe-Wörterbuch auf der Grundlage von Wikipedia 2014 und English Gigaword Fifth Edition verwendet, um jede Zeichenfolge in einen Vektor umzuwandeln.
4. Die Vektoren und ihre zugehörigen Bewertungen ein neurales MLP-Netzwerkmodell durchlaufen lassen, um das Modell für die Prognose von Textstimmungen zu trainieren.

Weitere Informationen zum GloVe-Wörterbuch finden Sie auf dieser Website.

Das GloVe-Wörterbuch wird auf der Grundlage der Public Domain Dedication and License v1.0 zur Verfügung gestellt. Den vollständigen Text finden Sie unter: http://opendatacommons.org/licenses/pddl/1.0/.

Anwendungsfälle

Machen Sie sich mit den primären vorgesehenen und nicht abgedeckten Anwendungsfällen des Modells "Stimmung erkennen" vertraut.

Beim primären Anwendungsfall handelt es sich um die Erkennung der Stimmung in unstrukturiertem Text, der in einem Rezept für die Datenvorbereitung an die Transformation "Stimmung erkennen" übergeben wird. Nicht strukturierter Text kann Kundenumfragen, Produkt- und Service-Feedback sowie nicht strukturierte Kommunikation wie Chat- oder Textnachrichten, E-Mail-Korrespondenz und Posts in sozialen Medien umfassen.

Die folgenden Anwendungsfälle sind nicht vorgesehen:

• Die Transformation "Stimmung erkennen" kann außerhalb von Rezepten für die Datenvorbereitung nicht aufgerufen werden.
• Der Eingabetext kann Salesforce-Rechenzentren nicht umgehen. Die Daten müssen in Salesforce verfügbar sein, um von der Transformation "Stimmung erkennen" ausgewertet werden zu können.
• Die Funktion "Stimmung erkennen" unterstützt nur englischsprachigen Eingabetext. Die Funktion verarbeitet nicht-englischsprachigen Text als englischen Text und ignoriert Bilder, einschließlich Emojis.

Faktoren

Nachdem wir den Deep-Learning- und den lexikonbasierten Ansatz für die Stimmungsanalyse in Betracht gezogen hatten, entschieden wir uns, beides zu kombinieren, um Verzerrungen im Stimmungsmodell zu reduzieren.

Wir entschieden uns, das Modell anhand von öffentlich verfügbaren gekennzeichneten Produktrezensionsdatensets zu trainieren – aufgrund ihrer Relevanz für Geschäftsanwendungsfälle. Andere öffentlich verfügbare gekennzeichnete Datensets wie Filmkritiken oder Posts in sozialen Medien sind in der Regel nicht so relevant und können die Genauigkeit beeinträchtigen. Da das Stimmungsmodell auf der Grundlage bestimmter Datensets trainiert wurde, kann die Genauigkeit des Stimmungsmodells variieren, je nachdem, wie ähnlich Ihre Daten mit den Trainingsdaten sind. Da die Trainingsdaten derzeit auf Englisch vorliegen, unterstützt das Modell "Stimmung erkennen" zurzeit nur englischen Text.

Sehen Sie sich die Genauigkeiten und F1-Bewertungen an, um herauszufinden, wie gut das Modell mit unterschiedlichen Datendomänen funktioniert. Als das Modell anhand von Produktrezensionen und Antworten aus Kundendienstumfragen ausgewertet wurde, erzielte es eine Stimmungsgenauigkeit von zwischen 69,09 % und 83,12 % und eine F1-Bewertung von zwischen 0,34 und 0,9. Bei einem verzerrten Test erzielte das Modell eine Genauigkeit von 92,31 % und eine F1-Bewertung von 0,9. Sie möchten wissen, warum die Ergebnisse variieren? Ganz einfach: Jede Datendomäne kann eindeutige Begriffe aufweisen, die nicht zum Trainieren des Modells "Stimmung erkennen" verwendet wurden. Dadurch kann die Genauigkeit des Modells abhängig von der Datendomäne variieren.

Das Modell wird mit 80 % der frei verfügbaren Produktrezensionsdaten trainiert, die etwa 100.000 Bewertungen und Rezensionen umfassen. Die Stimmung der Trainingsdaten wird anhand der Bewertungen ermittelt. Zum Beispiel werden Kommentare mit guter Bewertung als positiv eingestuft. Für die Auswertung des Modells wurden die generierten Stimmungen der verbleibenden 20 % der Produktrezensionen mit ihren tatsächlichen Bewertungen verglichen. Das Modell wurde zudem mithilfe proprietärer Umfrageantworten ausgewertet.

Ethische Überlegungen

Es wurden zusätzliche Maßnahmen und Vorkehrungen getroffen, um Verzerrungen in Verbindung mit Begriffen zur Geschlechteridentität, sexuellen Orientierung, Religionszugehörigkeit und ethnischen Herkunft zu korrigieren. Zwölf Begriffe standen hierbei im Fokus: Atheist, homosexuell, schwul, lesbisch, gleichgeschlechtlich, feministisch, schwarz, weiß, heterosexuell, Islam, Moslem und bisexuell. Wir haben das Modell mit synthetischen Daten trainiert, um stets neutrale Stimmungen für diese Begriffe zu prognostizieren. Der Text, der diese Identitätsbegriffe enthält, kann die Stimmung zwar ändern, die Begriffe selbst sind jedoch neutral. Mit der Einführung von hauptsächlich selbst erstellten hochwertigen Daten konnten Verzerrungen im Hinblick auf die angegebenen Begriffe erheblich reduziert werden, ohne dass die Modellleistung dadurch beeinträchtigt wird. Die Liste der in dieser Abhilfemaßnahme enthaltenen Identitätsbegriffe ist leider nicht vollständig. In Zukunft sind zusätzliche Maßnahmen erforderlich, um die Liste zu erweitern und eine breitere Gruppe von Beteiligten in der Liste zu berücksichtigen.

Das Modell generiert in der Regel die richtigen Stimmungen, aber die Ergebnisse können basierend auf den Daten variieren. Das Modell verarbeitet beispielsweise neue Sprachen, Slang oder Sarkasmus nicht genau. Es werden auch unerwartete Ergebnisse für Text ohne Stimmung zurückgegeben, beispielsweise IDs, Nomen, Adressen oder alphanumerische Werte. Da die Genauigkeit variieren kann, sollten Sie eher Trends in Stimmungsbewertungen über einen längeren Zeitraum für Ihre Entscheidungen heranziehen, statt sich auf Momentaufnahmen zu verlassen.

Weitere Details zur Modellkarte "Stimmung erkennen" finden Sie in den nachfolgenden Ressourcen.

• GloVe: Global Vectors for Word Representation