Offen-vokabular Vorhersagemodelle der Welt aus Sensordaten

Kognitionswissenschaftler glauben, dass anpassungsfähige intelligente Agenten wie Menschen räumliche Denkaufgaben durch erlernte kausale mentale Simulation ausführen. Das Problem, diese Simulationen zu erlernen, wird als prädiktives Weltmodellieren bezeichnet. Wir präsentieren den ersten Rahmen für das Erlernen eines offen-vokabularbasierten prädiktiven Weltmodells (OV-PWM) aus Sensordaten. Das Modell ist durch einen hierarchischen variationalen Autoencoder (HVAE) realisiert, der in der Lage ist, vielfältige und genaue vollständig beobachtete Umgebungen aus akkumulierten partiellen Beobachtungen vorherzusagen. Wir zeigen, dass das OV-PWM hochdimensionale Einbettungskarten latenter, kompositorischer Einbettungen modellieren kann, welche Mengen von sich überlappenden Semantiken darstellen, die durch hinreichend ähnliche Inferenz erschlossen werden können. Das OV-PWM vereinfacht den bisherigen zweistufigen geschlossenen PWM-Ansatz zu einer einstufigen Ende-zu-Ende-Lernmethode. Experimente mit dem CARLA-Simulator zeigen, dass das OV-PWM kompakte latente Repräsentationen erlernen und vielfältige sowie genaue Welten mit feinen Details wie Straßenmarkierungen erzeugen kann, wobei es über sechs Abfrage-Semantiken eine mIoU von 69 auf einer städtischen Evaluationssequenz erreicht. Wir schlagen das OV-PWM als vielseitiges kontinuierliches Lernparadigma vor, um zukünftigen multifunktionalen mobilen Robotern räumlich-semantisches Gedächtnis und erlernte interne Simulationsfähigkeiten bereitzustellen.