Explorando modelos transformer para clasificación de sentimientos: Una comparación entre BERT, RoBERTa, ALBERT, DistilBERT y XLNet

Resumen Los modelos de transferencia de aprendizaje han demostrado ser superiores a los enfoques clásicos de aprendizaje automático en diversas tareas de clasificación de texto, como el análisis de sentimientos, respuesta a preguntas, categorización de noticias e inferencia de lenguaje natural. Recientemente, estos modelos han mostrado resultados excepcionales en la comprensión del lenguaje natural (NLU). Modelos avanzados de lenguaje basados en atención como BERT y XLNet sobresalen en el manejo de tareas complejas en contextos diversos. Sin embargo, enfrentan dificultades cuando se aplican a dominios específicos. Plataformas como Facebook, caracterizadas por un lenguaje casual y sofisticado en constante evolución, requieren un análisis meticuloso del contexto incluso por parte de usuarios humanos. La literatura ha propuesto numerosas soluciones utilizando técnicas estadísticas y de aprendizaje automático para predecir el sentimiento (positivo o negativo) de reseñas de clientes en línea, pero la mayoría dependen de diversas características comerciales, de reseñas y del evaluador, lo cual conlleva problemas de generalización. Además, ha habido muy pocos estudios que investiguen la efectividad de modelos de lenguaje preentrenados de última generación para la clasificación de sentimientos en reseñas. Por lo tanto, este estudio pretende evaluar la efectividad de BERT, RoBERTa, ALBERT, DistilBERT y XLNet en la clasificación de sentimientos usando el conjunto de datos de reseñas Yelp. Los modelos fueron afinados, y los resultados obtenidos con los mismos hiperparámetros son los siguientes: 98.30 para RoBERTa, 98.20 para XLNet, 97.40 para BERT, 97.20 para ALBERT y 96.00 para DistilBERT.