Estimation de l'entropie et de l'information mutuelle

Nous présentons quelques nouveaux résultats sur l'estimation non paramétrique de l'entropie et de l'information mutuelle. Tout d'abord, nous utilisons une expansion locale exacte de la fonction entropie pour prouver la consistance presque sûre et les théorèmes limites centraux pour trois des estimateurs d'information discrétisés les plus couramment utilisés. Le cadre est lié à la méthode des tamis de Grenander et ne fait aucune hypothèse sur la mesure de probabilité sous-jacente générant les données. Ensuite, nous démontrons un inverse à ces théorèmes de consistance, montrant qu'une mauvaise application des techniques d'estimation les plus courantes conduit à une estimation arbitrairement mauvaise de la véritable information, même avec des données illimitées. Ce théorème d’« inconsistance » conduit à une approximation analytique du biais, valide dans des régimes d'échantillons étonnamment petits et plus précise que la formule habituelle : voir la formule texte de Miller et Madow sur une large région de l'espace des paramètres. Les deux implications pratiques majeures de ces résultats sont négatives : (1) les estimations d'information dans un certain régime de données sont probablement contaminées par un biais, même si des estimateurs « corrigés du biais » sont utilisés, et (2) les intervalles de confiance calculés par des techniques standard sous-estiment drastiquement l'erreur des méthodes d'estimation les plus courantes. Enfin, nous notons une connexion très utile entre le biais des estimateurs d'entropie et un certain problème d'approximation polynomiale. En inscrivant les problèmes de calcul de biais dans ce cadre de théorie d'approximation, nous obtenons la meilleure généralisation possible des résultats connus sur le biais asymptotique. Plus intéressant encore, ce cadre conduit à un estimateur avec de belles propriétés : cet estimateur est muni de bornes rigoureuses sur l'erreur maximale sur toutes les distributions de probabilité sous-jacentes possibles, et cette erreur maximale s'avère étonnamment faible. Nous démontrons l'application de ce nouvel estimateur sur des données réelles et simulées.