Verstehen der Auswirkungen sprachspezifischer Klassenungleichgewichte beim multilingualen Feintuning

Wir untersuchen die Auswirkung eines oft in realen multilingualen Klassifikationsdatensätzen vorhandenen Ungleichgewichts: eine ungleiche Verteilung der Klassen über die Sprachen hinweg. Wir zeigen Belege dafür, dass das Feintuning eines transformerbasierten Large Language Models (LLM) auf einem Datensatz mit diesem Ungleichgewicht zu schlechteren Leistungen, einer stärker ausgeprägten Trennung der Sprachen im latenten Raum und der Förderung uninformative Merkmale führt. Wir modifizieren den traditionellen Klassengewichtsansatz bei Ungleichgewichten, indem wir die Klassen-Gewichte separat für jede Sprache berechnen, und zeigen, dass dies dazu beiträgt, diese schädlichen Effekte zu mildern. Diese Ergebnisse machen auf die negativen Effekte sprachspezifischer Klassenungleichgewichte beim multilingualen Feintuning aufmerksam und darauf, wie das Modell lernt, sich auf die Trennung der Sprachen zu stützen, um die Aufgabe zu erfüllen.