Accélération matérielle d'arithmétique pour l'apprentissage artificiel et le calcul scientifique

Dans un monde axé sur les données, l'apprentissage artificiel et le calcul scientifique sont devenus de plus en plus importants, justifiant l'utilisation d'accélérateurs matériels dédiés. Cette thèse explore la conception et l'implémentation d'unités arithmétiques pour de tels accélérateurs dans le Massively Parallel Processor Array de Kalray. L'apprentissage artificiel nécessite des multiplications de matrices qui opèrent sur des formats de nombres très petits. Dans ce contexte, cette thèse étudie l'implémentation du produit-scalaire-et-addition en précision mixte pour différents formats de 8 et 16 bits (FP8, INT8, Posit8, FP16, BF16), en utilisant des variantes d'une technique classique de l'état-de-l'art, l'accumulateur long. Elle introduit également des techniques permettant de combiner différents formats d'entrée. Des méthodes radicalement différentes sont étudiées pour passer à l'échelle vers la grande dynamique des formats 32 et 64 bits utilisés en calcul scientifique. Cette thèse étudie également l'évaluation de certaines fonctions élémentaires. Un opérateur pour la fonction exponentielle (cruciale pour le calcul de la fonction softmax) étend une architecture de l'état-de-l'art pour accepter des formats d'entrée multiples. La fonction racine carrée inverse (utilisée pour la normalisation des couches) est accélérée en combinant des techniques d'état-de-l'art pour la réduction de la dynamique, des tables multipartites correctement arrondies et des techniques logicielles de raffinement itératif.