Redes convolutionais recorrentes de longo prazo para reconhecimento e descrição visual

Modelos baseados em redes neurais convolucionais profundas dominaram tarefas recentes de interpretação de imagens; investigamos se modelos que também são recorrentes, ou "temporalmente profundos", são eficazes para tarefas envolvendo sequências, visuais e outras. Desenvolvemos uma nova arquitetura de rede convolucional recorrente adequada para aprendizado visual em grande escala que é treinável de ponta a ponta, e demonstramos o valor desses modelos em tarefas de reconhecimento de vídeo de benchmark, problemas de descrição e recuperação de imagens, e desafios de narração de vídeo. Em contraste com modelos atuais que assumem um campo receptivo espaço-temporal fixo ou uma simples média temporal para processamento sequencial, modelos convolucionais recorrentes são "duplamente profundos" na medida em que podem ser composicionais em "camadas" espaciais e temporais. Esses modelos podem ter vantagens quando os conceitos-alvo são complexos e/ou os dados de treinamento são limitados. Aprender dependências de longo prazo é possível quando não linearidades são incorporadas nas atualizações de estado da rede. Modelos RNN de longo prazo são atraentes na medida em que podem mapear diretamente entradas de comprimento variável (por exemplo, quadros de vídeo) para saídas de comprimento variável (por exemplo, texto em linguagem natural) e podem modelar dinâmicas temporais complexas; ainda assim, podem ser otimizados com retropropagação. Nossos modelos recorrentes de longo prazo estão diretamente conectados a modelos modernos de convnet visual e podem ser treinados conjuntamente para aprender dinamicamente a percepção temporal e as representações perceptuais convolucionais. Nossos resultados mostram que tais modelos têm vantagens distintas sobre modelos de ponta para reconhecimento ou geração que são definidos e/ou otimizados separadamente.