创建互动式虚拟现实内容通常需要大量建模工作,难以实现规模化生产。我们提出了一种自动化计算流程,能将单张图像转换为带有合理运动感觉反馈的互动三维场景。该方法利用大型语言模型(LLM)检测图像中的物体,并从视觉和文本线索中推断触觉属性。提取结果随后用于合成三维模型,并针对感知可区分性优化触觉属性,同时将它们组合成完整的互动环境。用户研究表明,生成的虚拟现实场景提供了引人入胜的视觉-触觉体验,凸显了我们方法在多感官世界规模化生成中的潜力。据我们所知,这是首个能从单张图像自动生成带力反馈虚拟现实场景的系统,为降低创建触觉增强虚拟现实内容的门槛指明了实用方向。
Park 等人(星期四,)研究了该问题。