Eine vergleichende Analyse von Transformer-Architekturen zur Sentiment- und Emotionsklassifikation

Dieses Papier vergleicht vier Transformer-Modelle (BERT, ALBERT, T5 und XLNet) im Bereich der Sentiment-Analyse von Aufgaben basierend auf Daten aus sozialen Medien. Verwendet wurden zwei Datensätze: der X (Twitter) Datensatz mit Tweets zu Spielen und der Emotion-Datensatz, der in die Kategorien Wut, Freude und Angst eingeteilt ist. Das Modell wurde unter denselben Einstellungen für Vorverarbeitung, Training und Test für 3, 5, 7 und 10 Epochen trainiert. Vorgestellt wurden Ergebnisse, die zeigten, dass die Genauigkeit mit der höheren Anzahl an Epochen zunahm. Die maximalen Genauigkeiten wurden beim BERT-Modell erreicht – 88,63 % beim X-Datensatz und 97,05 % beim Emotion-Datensatz. XLNet zeigte großes Potenzial für Langzeitabhängigkeiten, und ALBERT erreichte eine ausgewogene Leistung aufgrund seiner leichten Architektur. Im Gegensatz dazu war die Leistung von T5 im Vergleich zu den anderen geringer. Insgesamt lässt sich schließen, dass die Transformer-Architektur der traditionellen maschinellen Lerntechnik im Kontext der Sentiment-Analyse aufgrund höherer Genauigkeit und besserem kontextuellem Verständnis überlegen ist.