Aprendendo a detectar classes de objetos não vistas por transferência de atributos entre classes

Estudamos o problema da classificação de objetos quando as classes de treinamento e teste são disjuntas, ou seja, não há exemplos de treinamento das classes alvo disponíveis. Essa configuração raramente foi estudada na pesquisa em visão computacional, mas é a regra e não a exceção, porque o mundo contém dezenas de milhares de diferentes classes de objetos e para pouquíssimas delas foram formadas coleções de imagens anotadas com rótulos de classe apropriados. Neste artigo, abordamos o problema introduzindo a classificação baseada em atributos. Ela realiza a detecção de objetos com base em uma descrição de alto nível especificada por humanos dos objetos alvo, em vez de imagens de treinamento. A descrição consiste em atributos semânticos arbitrários, como forma, cor ou até informações geográficas. Como tais propriedades transcendem a tarefa específica de aprendizado em questão, elas podem ser pré-aprendidas, por exemplo, a partir de conjuntos de dados de imagens não relacionadas à tarefa atual. Posteriormente, novas classes podem ser detectadas com base em sua representação por atributos, sem a necessidade de uma nova fase de treinamento. Para avaliar nosso método e facilitar a pesquisa nessa área, reunimos um novo grande conjunto de dados, "Animals with Attributes", com mais de 30.000 imagens de animais que correspondem às 50 classes na tabela clássica de Osherson sobre quão fortemente humanos associam 85 atributos semânticos às classes de animais. Nossos experimentos mostram que, ao usar uma camada de atributos, é de fato possível construir um sistema de detecção de objetos que não requer imagens de treinamento das classes alvo.