Nutzung von hierarchischer Aufmerksamkeit und dynamischen Fusionsmechanismen zur multimodalen Sprachausdruckserkennung

Key Points

• Bedeutende Verbesserungen bei der Sprachausdruckserkennung wurden unter Verwendung von hierarchischer Aufmerksamkeit und dynamischen Fusionsverfahren beobachtet.
• Das Modell erreichte eine Genauigkeit von 85 % bei der Identifizierung emotionaler Zustände aus Sprachdaten über mehrere Modalitäten hinweg.
• Bewertung mithilfe eines Deep-Learning-Modells, das mit hierarchischer Aufmerksamkeit und dynamischer Fusion für multimodale Eingaben integriert ist.
• Diese Ergebnisse legen nahe, dass es Potenzial für fortgeschrittene emotionale Analysen in Echtzeitanwendungen gibt, die die Benutzerinteraktion verbessern.