Diseño de un enfoque multimodal basado en datos para analizar los patrones de comportamiento del alumno

Recientemente, el entorno educativo ha experimentado un aumento en la demanda de análisis del comportamiento no verbal de los aprendices para gestionar la calidad de la enseñanza. Sin embargo, las investigaciones previas se han limitado a la verificación de asistencia o criterios de análisis restringidos, lo que impide obtener información para interpretar la inmersión real y el estado de participación cognitiva del alumno. En este trabajo se propone un método de análisis multimodal que combina dos técnicas complementarias de extracción de datos para medir desde diferentes ángulos los patrones de comportamiento del aprendiz. La modalidad 1 es el análisis de datos visuales basado en cámara web, que rastrea la postura facial (Head Pose) y la posición en pantalla del estudiante para extraer la dirección de la mirada y la frecuencia según ubicación, analizando así los patrones de comportamiento facial. La modalidad 2 analiza datos de dispositivos de entrada como teclado y ratón, detectando en tiempo real clics, desplazamientos y tipeo para medir cuantitativamente el nivel de interacción activa, y rastrea la introducción de palabras clave de aprendizaje importantes ya registradas para identificar los intereses del alumno. Los datos extraídos de ambas modalidades se visualizaron mediante mapas de calor y gráficos de líneas temporales para que el profesor pueda comprender intuitivamente las características del comportamiento del aprendiz. Este análisis multimodal apoya a los docentes a evaluar objetivamente la participación de cada alumno y se espera que sirva como base para mejorar el diseño de las clases.