Un estudio comparativo de la alucinación cultural en grandes modelos de lenguaje sobre preguntas éticas culturalmente específicas

Resumen Los rápidos avances en el procesamiento del lenguaje natural han llevado al desarrollo de modelos altamente sofisticados capaces de generar texto similar al humano, sin embargo, persisten desafíos para garantizar que estos modelos produzcan respuestas culturalmente precisas y éticamente coherentes. El concepto novedoso de este estudio radica en la evaluación exhaustiva de ChatGPT 4o y Gemini 1.5 Flash en cuestiones éticas culturalmente específicas, proporcionando una comparación detallada de su desempeño en diversos contextos culturales. Se emplearon métricas automatizadas de evaluación, incluyendo similitud semántica, relevancia cultural y coherencia ética, para valorar las capacidades de los modelos, revelando perspectivas significativas sobre sus fortalezas y limitaciones. Los resultados indicaron que, si bien ambos modelos exhiben alta relevancia cultural y coherencia ética, diferencias notables en su desempeño en varias regiones sugieren áreas para mejorar. El análisis estadístico confirmó la significancia de estas diferencias, enfatizando la necesidad de una refinación continua de las metodologías de entrenamiento. El estudio demuestra la importancia de integrar conocimientos culturales más profundos y marcos éticos en el desarrollo de modelos, contribuyendo con conocimientos valiosos al campo de la ética de la IA y la competencia cultural.