SuperLoRA: Parameter-effiziente einheitliche Anpassung von mehrschichtigen Aufmerksamkeitsmodulen

Low-Rank-Adaptation (LoRA) und ihre Varianten werden häufig beim Feinabstimmen großer Modelle eingesetzt, darunter große Sprachmodelle für die Verarbeitung natürlicher Sprache und Diffusionsmodelle für die Computer Vision. Dieses Papier stellt ein generalisiertes Framework namens SuperLoRA vor, das verschiedene LoRA-Varianten vereinheitlicht und erweitert und unter unterschiedlichen Hyperparameter-Einstellungen realisiert werden kann. Durch Einführung von Gruppierung, Faltung, Mischen, Projektion und Tensorfaktorisierung bietet SuperLoRA eine hohe Flexibilität im Vergleich zu anderen LoRA-Varianten und zeigt überlegene Leistung bei Transferlernaufgaben, insbesondere in extrem parametereffizienten Szenarien.