Die Entwicklung skalierbarer und generalisierbarer Belohnungsengineering für Reinforcement Learning (RL) ist entscheidend für die Schaffung von allgemein einsetzbaren Agenten, insbesondere im herausfordernden Bereich der robotischen Manipulation. Während die jüngsten Fortschritte im Belohnungsengineering mit Vision-Language-Modellen (VLMs) vielversprechend sind, begrenzt ihre spärliche Belohnungsnatur erheblich die Stichprobeneffizienz. In diesem Papier wird TeViR vorgestellt, eine neuartige Methode, die ein vortrainiertes Text-zu-Video-Diffusionsmodell nutzt, um dichte Belohnungen zu generieren, indem die vorhergesagte Bildfolge mit den aktuellen Beobachtungen verglichen wird. Experimentelle Ergebnisse aus 11 komplexen robotischen Aufgaben zeigen, dass TeViR traditionelle Methoden, die sich auf spärliche Belohnungen stützen, und andere moderne (SOTA) Methoden übertrifft, indem es eine bessere Stichprobeneffizienz und Leistung erzielt, ohne auf tatsächliche Umgebungsbelohnungen angewiesen zu sein. Die Fähigkeit von TeViR, Agenten effizient in komplexen Umgebungen zu leiten, hebt ihr Potenzial hervor, die Anwendungen des Reinforcement Learning in der robotischen Manipulation voranzubringen.
Chen et al. (Mon,) haben diese Frage untersucht.