로봇 구현 지능: 복잡한 작업 성공을 위한 언어 모델, 선별된 지식 및 다중 모달 피드백 통합

초록 예측 불가능한 환경(예: 주방)에서 복잡한 작업을 완료하는 것은 현재 로봇 시스템에 도전 과제를 제기하며, 기계 지능에 혁신적인 변화가 필요합니다. 감각운동 능력은 인간 지능의 필수 요소로 널리 여겨집니다. 따라서 자연에서 영감을 받은 기계 지능은 인공지능과 로봇의 감각운동 능력을 유용하게 결합할 수 있습니다. 이를 바탕으로, 우리는 대규모 언어 모델, 선별된 지식 기반, 통합된 힘 및 시각 피드백(오픈 소스 GitHub 저장소를 통해 코드 제공)을 부트스트랩한 새로운 프레임워크를 개발했습니다. 이 접근 방식이 예측 불가능한 환경에서 로봇이 복잡한 작업을 수행하는 능력을 변화시킬 것이라고 가설을 세웠습니다. 커피 제조 및 접시 장식 작업을 통해 우리의 접근 방식을 테스트했습니다. 우리의 방법론은 문 열기부터 따르기까지 다양한 구성 요소를 포함하는 이러한 복잡한 작업을 로봇이 완수할 수 있게 했으며, 각각은 다양한 피드백 유형과 방법에 의해 혜택을 받았습니다. 이 새로운 조합은 불확실한 환경에서 복잡한 작업을 수행할 수 있는 확장 가능하고 효율적인 '지능형 로봇'에 대한 중요한 진전을 나타냅니다.