Estimación de Entropía e Información Mutua

Presentamos algunos resultados nuevos sobre la estimación no paramétrica de la entropía y la información mutua. Primero, usamos una expansión local exacta de la función entropía para demostrar la consistencia casi segura y los teoremas del límite central para tres de los estimadores de información discretizados más comúnmente utilizados. La configuración está relacionada con el método de cribas de Grenander y no impone suposiciones sobre la medida de probabilidad subyacente que genera los datos. Segundo, demostramos una contrapartida a estos teoremas de consistencia, evidenciando que una mala aplicación de las técnicas de estimación más comunes conduce a una estimación arbitrariamente pobre de la información verdadera, aun con datos ilimitados. Este teorema de “inconsistencia” conduce a una aproximación analítica del sesgo, válida en regímenes de muestra sorprendentemente pequeños y más precisa que la fórmula habitual de Miller y Madow en una amplia región del espacio de parámetros. Las dos implicaciones prácticas más importantes de estos resultados son negativas: (1) las estimaciones de información en cierto régimen de datos probablemente están contaminadas por sesgo, incluso si se usan estimadores “corregidos por sesgo”, y (2) los intervalos de confianza calculados por técnicas estándar subestiman drásticamente el error de los métodos de estimación más comunes. Finalmente, observamos una conexión muy útil entre el sesgo de los estimadores de entropía y un cierto problema de aproximación polinómica. Al formular los problemas de cálculo de sesgo dentro de este marco de teoría de aproximación, obtenemos la mejor generalización posible de los resultados asintóticos conocidos sobre sesgo. Más interesante aún, este marco conduce a un estimador con algunas propiedades agradables: el estimador viene equipado con límites rigurosos sobre el error máximo en todas las distribuciones de probabilidad subyacentes posibles, y este error máximo resulta ser sorprendentemente pequeño. Demostramos la aplicación de este nuevo estimador tanto en datos reales como simulados.