Aprender a detectar clases de objetos no vistas mediante la transferencia de atributos entre clases

Estudiamos el problema de la clasificación de objetos cuando las clases de entrenamiento y prueba son disjuntas, es decir, no hay ejemplos de entrenamiento de las clases objetivo disponibles. Esta configuración apenas se ha estudiado en la investigación en visión por computadora, pero es la regla más que la excepción, porque el mundo contiene decenas de miles de clases diferentes de objetos y sólo para unas pocas se han formado y anotado colecciones de imágenes con etiquetas de clase adecuadas. En este artículo, abordamos el problema introduciendo la clasificación basada en atributos. Esta realiza la detección de objetos basada en una descripción de alto nivel especificada por humanos de los objetos objetivo en lugar de imágenes de entrenamiento. La descripción consiste en atributos semánticos arbitrarios, como forma, color o incluso información geográfica. Debido a que tales propiedades trascienden la tarea específica de aprendizaje en cuestión, pueden preaprendérse, por ejemplo, de conjuntos de datos de imágenes no relacionados con la tarea actual. Posteriormente, se pueden detectar nuevas clases basándose en su representación por atributos, sin necesidad de una nueva fase de entrenamiento. Para evaluar nuestro método y facilitar la investigación en este ámbito, hemos reunido un nuevo conjunto de datos a gran escala, “Animals with Attributes”, con más de 30,000 imágenes de animales que corresponden a las 50 clases en la tabla clásica de Osherson sobre qué tan fuertemente los humanos asocian 85 atributos semánticos con clases de animales. Nuestros experimentos demuestran que usando una capa de atributos es efectivamente posible construir un sistema de detección de objetos basado en aprendizaje que no requiere imágenes de entrenamiento de las clases objetivo.