Une étude de la validation croisée et du bootstrap pour l'estimation de la précision et la sélection de modèle

Nous passons en revue les méthodes d'estimation de la précision et comparons les deux méthodes les plus courantes : la validation croisée et le bootstrap. Des résultats expérimentaux récents sur des données artificielles et des résultats théoriques dans des contextes restreints ont montré que, pour sélectionner un bon classifieur parmi un ensemble de classifieurs (sélection de modèle), la validation croisée à dix plis peut être meilleure que la validation croisée leave-one-out, plus coûteuse. Nous rapportons une expérience à grande échelle — plus d'un demi-million d'exécutions de C4.5 et d'un algorithme Naive-Bayes — pour estimer les effets de différents paramètres sur ces algorithmes sur des ensembles de données réels. Pour la validation croisée, nous faisons varier le nombre de plis et si les plis sont stratifiés ou non ; pour le bootstrap, nous faisons varier le nombre d'échantillons bootstrap. Nos résultats indiquent que pour des ensembles de données réels similaires aux nôtres, la meilleure méthode à utiliser pour la sélection de modèle est la validation croisée stratifiée à dix plis, même si la puissance de calcul permet d'utiliser plus de plis.