Zuverlässigkeitsanalyse und Härtung von Vision Transformers gegen Soft-Errors

Zusammenfassung Der Einsatz von Vision Transformers (ViTs) in sicherheitskritischen Bereichen erfordert ein klares Verständnis ihrer Widerstandsfähigkeit gegenüber Soft-Errors, da deren spezifische Verwundbarkeiten auf Layerebene derzeit unzureichend charakterisiert sind. Diese Arbeit präsentiert eine Zuverlässigkeitsanalyse der ViT-Base-Architektur gegen injektionsinduzierte Soft-Errors. Mithilfe einer hochpräzisen, softwarebasierten Fehlerinjektionsmethode mit benutzerdefinierten CUDA-Kernels werden zufällige Bit-Fehler direkt in die IEEE 754 binary32 Gleitkommadarstellung der Zwischendatentensoren injiziert, die aus den Transformer-Modulen resultieren, um die Degradation der Modellgenauigkeit bei steigenden Bitfehleraten zu quantifizieren. Als Hauptergebnis wird eine Verwundbarkeitskarte über die ViT-Schichten präsentiert, die bestätigt, dass die Ergebnisse der Normalisierungs- und voll verbundenen Schichten eine kritische Empfindlichkeit gegenüber Soft-Errors aufweisen. Zur Behebung dieser Verwundbarkeiten werden gezielte Härtungsstrategien bewertet. Dazu zählen Fault-Aware Training (FAT), sowohl global als auch selektiv auf lineare Schichten angewandt, sowie praktische Laufzeitmaßnahmen wie wertbasierte Bereichsbeschneidung und Filterung nicht-numerischer Werte. Die Ergebnisse zeigen, dass diese reinen Softwareansätze die Modellgenauigkeit signifikant schützen können.