Redes Neurais Naturais

Apresentamos as Redes Neurais Naturais, uma nova família de algoritmos que aceleram a convergência ao adaptar sua representação interna durante o treinamento para melhorar a condicionamento da matriz de Fisher. Em particular, mostramos um exemplo específico que emprega uma reparametrização simples e eficiente dos pesos da rede neural, branqueando implicitamente a representação obtida em cada camada, enquanto preserva o cálculo feed-forward da rede. Essas redes podem ser treinadas de forma eficiente por meio do algoritmo proposto de Descenso de Gradiente Natural Projetado (PRONG), que dilui o custo dessas reparametrizações ao longo de muitas atualizações de parâmetros e está intimamente relacionado ao algoritmo online de aprendizado Mirror Descent. Destacamos os benefícios do nosso método tanto em tarefas de aprendizado não supervisionado quanto supervisionado e demonstramos sua escalabilidade treinando no grande conjunto de dados do Desafio ImageNet.