Hacia una calibración por instancia: diagnóstico amortizado local y remodelación de densidades condicionales (LADaR)

Resumen Preguntas científicas clave, como la estimación de la distancia a galaxias y el pronóstico del clima, a menudo requieren conocer la distribución predictiva completa de una variable objetivo Y dadas entradas complejas X. A pesar de avances recientes en aprendizaje automático y modelos basados en física, sigue siendo un desafío evaluar si un modelo inicial está calibrado para todo x y, cuando es necesario, remodelar las densidades de y hacia una calibración 'por instancia'. Este artículo introduce el marco de diagnóstico y remodelación amortizados locales de densidades condicionales (LADaR) y propone un nuevo algoritmo computacionalmente eficiente (Cal-PIT) que produce diagnósticos locales interpretables y proporciona un mecanismo para ajustar estimaciones de densidades condicionales (CDEs). Cal-PIT aprende un único mapa interpretable local de probabilidad-probabilidad a partir de datos de calibración que identifica dónde y cómo el modelo inicial está mal calibrado en el espacio de características, lo cual puede usarse para transformar las CDEs de modo que estén bien calibradas. Ilustramos el marco LADaR con ejemplos sintéticos, incluyendo pronósticos probabilísticos a partir de secuencias de imágenes, similar a predecir la velocidad del viento de tormentas a partir de imágenes satelitales. Nuestra aplicación científica principal implica estimar las funciones de densidad de probabilidad de las distancias a galaxias dadas datos fotométricos, donde Cal-PIT logra una mejor calibración por instancia que los otros 11 métodos de la literatura en un desafío de datos de referencia, demostrando su utilidad para análisis cosmológicos de próxima generación 9 9 Código disponible como paquete Python aquí: https://github.com/lee-group-cmu/Cal-PIT . .