Texte-à-Événements : Flux Synthétiques de Caméra à Événements à partir de Texte Conditionnel

Les caméras à événements sont avantageuses pour les tâches nécessitant des capteurs visuels à faible latence et des réponses de sortie éparses. Cependant, le développement d'algorithmes de réseaux profonds utilisant des caméras à événements a été lent en raison du manque de grands ensembles de données étiquetées pour l'entraînement des réseaux. Cet article présente une méthode pour créer de nouveaux ensembles de données étiquetées à événements en utilisant un modèle texte-à-X, où X désigne une ou plusieurs modalités de sortie, dans ce travail, les événements. Notre modèle texte-à-événements produit directement des images d'événements synthétiques à partir d'invites textuelles. Il utilise un autoencodeur entraîné pour produire des images d'événements éparses représentant les sorties des caméras à événements. En combinant l'autoencodeur préentraîné avec une architecture de modèle de diffusion, le nouveau modèle texte-à-événements est capable de générer des flux d'événements synthétiques fluides d'objets en mouvement. L'autoencodeur a d'abord été entraîné sur un ensemble de données de caméras à événements représentant des scènes diverses. Lors de l'entraînement combiné avec le modèle de diffusion, l'ensemble de données DVS gesture a été utilisé. Nous démontrons que le modèle peut générer des séquences d'événements réalistes de gestes humains à partir de différentes instructions textuelles. La précision de classification des séquences générées, utilisant un classificateur entraîné sur l'ensemble de données réel, varie entre 42 % et 92 %, selon le groupe de gestes. Les résultats démontrent la capacité de cette méthode à synthétiser des ensembles de données à événements.