La diversification des applications de calcul haute performance (HPC) et le développement d’applications organisées en flux de travaux (workflow) hétérogènes impliquant du HPC, de l’intelligence artificielle et de l’apprentissage automatique, et de l’analyse in situ remettent en question l’architecture standard des clusters HPC. Les flux de travaux HPC modernes s’appuient de plus en plus sur des services et des applications issues du cloud dont le déploiement n’est souvent pas supporté dans les environnements HPC. Le cloud computing a historiquement été la plateforme privilégiée pour l’exécution de services, ce qui a conduit au développement d’un large écosystème de logiciels pour les environnements cloud. Par ailleurs, il prend de plus en plus en charge les applications HPC en proposant du matériel dédié et l’ordonnancement de jobs via des outils HPC standard ou via des outils du cloud. La convergence des besoins des deux communautés a suscité un intérêt croissant pour une architecture alliant les avantages des deux plateformes capable de prendre en charge à la fois les applications HPC et issues du cloud au sein d’un même environnement, sans imposer de compromis sur les performances, la sécurité et l’utilisabilité. On qualifie généralement ce type d’approche d’informatique des infrastructures convergées. Cette thèse explore plusieurs approches de l’informatique des infrastructures convergées pour permettre le déploiement d’applications issues du cloud dans des clusters HPC. Nous étudions deux approches basées sur le déploiement à la demande de clusters Kubernetes sur des ressources HPC, offrant des compromis différents en termes de flexibilité pour la gestion des ressources et de fonctionnalités Kubernetes prises en charge. Notre contribution principale réside dans la conception et l’implémentation d’un réseau sécurisé de conteneurs assurant l’isolation des utilisateurs ainsi que la flexibilité et la sécurité nécessaires au déploiement d’applications de type service, tout en restant transparent pour les utilisateurs finaux. Nous avons implémenté ce réseau dans le moteur de conteneurs pcocc utilisé en production au CEA et nous n’avons mesuré aucun impact significatif du réseau de conteneurs sur les performances des applications MPI. Cette approche innovante démontre que la virtualisation réseau peut accroître la flexibilité des clusters HPC et permettre le déploiement d’applications issues du cloud sans impacter les performances des applications HPC traditionnelles.
Lise Jolicoeur (Wed,) studied this question.