Entraînement à basse précision pour les accélérateurs d'apprentissage profond

L’entraînement des réseaux neuronaux profonds (DNN) est très gourmand en ressources de calcul, d’où l’intérêt pour l’arithmétique de basse précision afin d’améliorer l’efficacité. Cette thèse explore de nouvelles approches pour permettre un entraînement efficace en basse précision pour les accélérateurs d’apprentissage profond. Tout d’abord, nous présentons MPTorch-FPGA, une extension de l’environnement MPTorch conçue pour faciliter l’entraînement de DNN à faible précision pour des environnements CPU, GPU et FPGA. MPTorch-FPGA peut générer un accélérateur spécifique au modèle pour l’entraînement DNN, avec des tailles et des implémentations arithmétiques personnalisables, offrant une précision au niveau du bit par rapport à l’entraînement DNN émulé sur les GPU ou les CPU. Un algorithme de correspondance hors ligne sélectionne l’une des configurations FPGA pré-générées (statiques) en utilisant un modèle de performance pour estimer la latence. Deuxièmement, nous proposons une unité de multiplication-accumulation (MAC) optimisée, basée sur des arrondis stochastiques et adaptée à l’apprentissage en basse précision. Notre conception utilise un multiplicateur FP8 avec une accumulation FP12 et s’appuie sur une nouvelle implémentation de l’arrondi stochastique dans les additionneurs à virgule flottante, réduisant de manière significative la surface, la consommation d’énergie et le délai par rapport aux implémentations conventionnelles. Ensemble, ces contributions soulignent le potentiel de l’arithmétique personnalisée et de l’entraînement en précision mixte pour améliorer les performances des accélérateurs d’apprentissage profond tout en préservant la précision du modèle.