Point-BERT: Pré-treinamento de Transformers para Nuvens de Pontos 3D com Modelagem de Pontos Mascarados

Apresentamos o Point-BERT, um novo paradigma para o aprendizado de Transformers que generaliza o conceito do BERT 8 para nuvens de pontos 3D. Inspirados pelo BERT, criamos uma tarefa de Modelagem de Pontos Mascarados (Masked Point Modeling, MPM) para pré-treinar Transformers para nuvens de pontos. Especificamente, primeiro dividimos uma nuvem de pontos em diversos patches locais, e um Tokenizador de nuvem de pontos com um Autoencoder Variacional discreto (dVAE) é projetado para gerar tokens de pontos discretos que contêm informações locais significativas. Em seguida, mascaramos aleatoriamente alguns patches das nuvens de pontos de entrada e as alimentamos nos Transformers base. O objetivo do pré-treinamento é recuperar os tokens originais dos pontos nas localizações mascaradas sob a supervisão dos tokens de pontos obtidos pelo Tokenizador. Extensos experimentos demonstram que a estratégia de pré-treinamento no estilo BERT proposta melhora significativamente o desempenho dos Transformers padrão para nuvens de pontos. Equipado com nossa estratégia de pré-treinamento, mostramos que uma arquitetura puramente Transformer alcança 93,8% de acurácia no ModelNet40 e 83,1% de acurácia na configuração mais difícil do ScanObjectNN, superando modelos cuidadosamente projetados para nuvens de pontos com muito menos designs manuais. Também demonstramos que as representações aprendidas pelo Point-BERT transferem bem para novas tarefas e domínios, onde nossos modelos avançam consideravelmente o estado da arte na tarefa de classificação few-shot de nuvens de pontos. O código e os modelos pré-treinados estão disponíveis em https://github.com/lulutang0608/Point-BERT.