ShaRF: Campos de Radiância Condicionados por Forma a partir de uma Única Vista

Apresentamos um método para estimar representações neurais de cenas de objetos dado apenas uma única imagem. O núcleo do nosso método é a estimativa de uma estrutura geométrica para o objeto e seu uso como guia para a reconstrução do campo de radiância subjacente. Nossa formulação baseia-se em um processo generativo que primeiro mapeia um código latente para uma forma voxelizada e depois a renderiza para uma imagem, com a aparência do objeto sendo controlada por um segundo código latente. Durante a inferência, otimizamos tanto os códigos latentes quanto as redes para ajustar uma imagem de teste de um novo objeto. A dissociação explícita entre forma e aparência permite que nosso modelo seja ajustado finamente dado uma única imagem. Podemos então renderizar novas vistas de maneira geometricamente consistente que representam fielmente o objeto de entrada. Adicionalmente, nosso método é capaz de generalizar para imagens fora do domínio de treinamento (renderizações mais realistas e até fotografias reais). Finalmente, a estrutura geométrica inferida é em si uma estimativa precisa da forma 3D do objeto. Demonstramos em vários experimentos a eficácia da nossa abordagem tanto em imagens sintéticas quanto reais.