GenTouchVR: Gerando um Ambiente de Realidade Virtual Tátil a partir de uma Única Imagem

Criar conteúdo interativo de RV normalmente requer um esforço extenso de modelagem, dificultando a produção em escala. Apresentamos um pipeline computacional automatizado que converte uma única imagem em uma cena 3D interativa com feedback cinestésico plausível. Nossa abordagem utiliza um Large Language Model (LLM) para detectar objetos na imagem e inferir propriedades hápticas a partir de pistas visuais e textuais. Esses resultados extraídos são então utilizados para sintetizar modelos 3D e otimizar propriedades hápticas para distinguibilidade perceptual, combinando-os em um ambiente interativo completo. Um estudo com usuários mostra que as cenas de RV geradas proporcionam experiências visuo-hápticas convincentes, destacando o potencial do nosso método para geração multisensorial escalável de mundos. Até onde sabemos, este é o primeiro sistema que produz automaticamente cenas de RV com feedback de força a partir de uma única imagem, apontando para uma direção prática para reduzir as barreiras na criação de conteúdo de RV enriquecido hápticamente.