How Emotions Detected by Facial Expression and Physiological Activities Can Help to Predict Economic Decisions

Les avancées récentes dans les technologies de biosenseurs et l'informatiqueaffective facilitent l'intégration rentable de mesures physiologiques et comportementalesdans les expériences économiques. En nous appuyant sur ces développements,nous proposons un paradigme expérimental novateur combinant de manièresynchrone le suivi physiologique continu avec l'analyse automatisée des expressionsfaciales et des mouvements oculaires lors de tâches de prise de décision.Ainsi, nous présentons deux ensembles de données multimodales originaux pour larecherche comportementale, INEMO et GTEMO, comprenant des enregistrementssynchronisés de 154 participants engagés dans le visionnage de vidéos émotionnelles,des tâches interoceptives, des défis de théorie de l'esprit et des expérienceséconomiques.Nos études montrent que les indicateurs physiologiques portent des informationsprédictives sur le comportement économique. Par exemple, en adaptant uneénigme de raisonnement pour susciter l'effet Eureka, nous démontrons que desévénements cognitifs cachés tels que les moments d'« insight » peuvent être détectésà travers les signaux physiologiques et les expressions faciales. De plus, nousconstatons que la conscience interoceptive et les réponses émotionnelles influencentsystématiquement la prise de décision, fournissant des preuves que les étatsaffectifs biaisent les choix économiques de manière mesurable.Les principales contributions de cette thèse sont à la fois méthodologiques etconceptuelles. Nous établissons une plateforme réplicable pour l'intégration demesures affectives multimodales en économie, démontrons l'utilité prédictive dessignaux physiologiques et publions l'ensemble de données INEMO avec le coded'analyse en tant que ressources ouvertes. Collectivement, ces avancées enrichissentl'économie comportementale en introduisant des méthodes déjà bien établies eninformatique affective et en psychologie, offrant ainsi un cadre plus robuste etgénéralisable pour l'étude du rôle des émotions dans la prise de décision.