Utiliser des évaluations aléatoires pour évaluer des méthodes non expérimentales

Cette thèse porte sur l'efficacité de différentes méthodes non expérimentales d'estimation des effets de traitement à court et à long terme par rapport à l'étalon-or des essais contrôlés randomisés.Le premier chapitre, A quel degré les méthodes observationnelles sont-elles biaisées en pratique ? Eléments de preuves provenant d'essais contrôlés randomisés avec une conformité imparfaite est rédigé conjointement avec Gharad Bryan, Sylvain Chabé-Ferret, Jonathan de Quidt, Jasmin Claire Fliegner et Roland Rathelot. Pour comprendre le degré de biais de méthodes observationnelles, nous avons rassemblé un ensemble complet de données provenant de nombreux essais randomisés de conformité imparfaite (ICRCT) menés au cours des deux dernières décennies. Nous avons ensuite conduit des estimations comparables des effets du traitement à partir des données observationnelles et expérimentales pour estimer le biais au sein de chaque étude. Nous utilisons ensuite une méta-analyse pour évaluer la direction du biais en moyenne et l'incertitude entourant son ampleur. Nos résultats suggèrent que les biais sont minimes en moyenne ; cependant, ils révèlent également une incertitude significative. Nous proposons de modifier les intervalles de confiance standard pour tenir compte de cette incertitude substantielle. Sur la base de nos modèles d'estimations préférentiels, une étude d'observation théorique avec une taille d'échantillon infinie présenterait une erreur-type effective supérieure à 0,16 d'écart-type, indiquant ainsi un effet détectable minimum supérieur à 0,3 d'écart-type. Le deuxième chapitre, Estimation des effets de traitement à long terme sans données de résultats à long terme, évalue l'approche de l'indice de substitution pour estimer les impacts à long terme des politiques basées sur des résultats à court terme. En utilisant les données de neuf essais contrôlés randomisés (ECR) à long terme dans le domaine de l'économie du développement, je suis une approche similaire à celle du premier chapitre, en comparant les effets de traitement de l'ECR à long terme à ceux prédits par l'approche de l'indice de substitution. Je constate que la méthode de l'indice de substitution a tendance à être négativement biaisée, sous-estimant les effets positifs du traitement à long terme de 0,05 écart-type en moyenne. Je montre que ce biais négatif peut s'expliquer par une erreur de retour à la moyenne dans la prédiction des résultats à long terme. En outre, je constate que des échantillons de plus grande taille et des horizons temporels plus courts entre les indicateurs de substitution et les résultats permettent d'obtenir de meilleurs résultats. Malgré son potentiel de biais, la méthode de l'indice de substitution s'est avérée offrir des gains de précision significatifs, avec des erreurs standard en moyenne deux fois moins importantes que celles des essais contrôlés randomisés à long terme.Le troisième chapitre, Prédiction des effets causaux à long terme, examine également le problème des prédicitions des effets à long terme, mais utilise une méthode non économétrique - les prédictions subjectives - pour faire des prédictions sur les effets à long terme. J'ai recueilli plus de 25 000 prédictions d'effets auprès d'environ 1 400 répondants, dont des universitaires, des prévisionnistes experts et des non-experts. Je montre que les prévisionnistes experts sont généralement plus précis que les universitaires et que cette supériorité est probablement due à un meilleur calibrage des prévisions. L'expertise horizontale et la familiarité avec le contexte ont également contribué à la précision des prédictions. Je montre également que les prévisionnistes ont tendance à surestimer la force de la relation entre les résultats à court et à long terme et que, bien qu'ils suivent partiellement un processus de mise à jour bayésien, ils ne tiennent pas compte de manière appropriée de l'incertitude entourant les effets à court terme.