확산 모델을 이용한 영상 생성에서 로봇 형태 및 위치 유지

확산 모델은 이미지 및 영상 생성 기술 향상에 중요한 이정표를 세웠습니다. 그러나 로봇과 같은 움직이는 물체의 형태와 위치를 정확히 유지하는 영상을 생성하는 것은 여전히 도전 과제입니다. 본 논문은 이동 로봇의 형태와 위치를 정확히 유지하는 영상을 생성하도록 특화된 확산 모델을 제시합니다. 이 개발은 충돌 감지 모델의 훈련 데이터를 생성하는 데 도움을 줌으로써, 실제 세계에서 수집하는 데이터가 법적 및 윤리적 문제를 수반할 때 이를 우회할 수 있어 인간과 로봇 간의 위험한 상호작용을 감지하는 연구자들에게 큰 이점을 제공합니다. 저희 모델은 접근 가능한 로봇 자세 정보를 임베딩하고 ConvNext 백본 네트워크 내에서 의미론적 마스크 규제를 적용하는 등의 기법을 통합합니다. 이러한 기법들은 중간 출력물을 정제하도록 설계되어 형태 및 위치 유지 성능을 향상시킵니다. 광범위한 실험을 통해 저희 모델은 다양한 로봇의 형태와 위치 유지뿐만 아니라 전체 영상 생성 품질에서도 기준 확산 모델보다 현저한 향상을 보여주었습니다. 코드는 https://github.com/PengPaulWang/diffusion-robotsGithub 에서 오픈소스로 공개될 예정입니다.