PipeMare: Asynchrone Pipeline Parallel DNN-Training

Pipeline-Parallelismus (PP) beim Training von neuronalen Netzwerken ermöglicht es, größere Modelle spatial zu partitionieren, was sowohl zu geringerer Netzwerkkommunikation als auch zu insgesamt höherer Hardwareauslastung führt. Leider opfern bestehende PP-Techniken die Hardwareeffizienz, um die statistische Effizienz des sequenziellen Trainings zu bewahren, indem sie die Nutzung der Pipeline verringern oder zusätzliche Speicherkosten verursachen. In diesem Papier untersuchen wir, inwieweit diese Opfer notwendig sind. Wir entwickeln PipeMare, eine einfache, aber robuste Trainingsmethode, die asynchrone Updates während der PP-Ausführung toleriert, ohne die Nutzung oder den Speicher zu opfern, was eine effiziente Nutzung des feinkörnigen Pipeline-Parallelismus ermöglicht. Konkret ermöglicht es PipeMare, getestet an ResNet- und Transformernetzwerken, bis zu 2,7-mal weniger Speicher zu verwenden oder eine 4,3-mal höhere Pipeline-Auslastung zu erreichen, bei ähnlicher Modellqualität im Vergleich zu modernen synchronen PP-Trainingstechniken.