Sparse Mamba: Verstärkung der Steuerbarkeit in strukturellen Zustandsraummodellen

In diesem Artikel führen wir das Konzept der Steuerbarkeit und Beobachtbarkeit in die Mamba-Architektur in unserem Sparse-Mamba (S-Mamba) für Anwendungen der natürlichen Sprachverarbeitung (NLP) ein. Die Entwicklung strukturierter Zustandsraummodelle (SSM) in jüngeren Studien, wie Mamba und Mamba2, übertraf und löste die rechnerische Ineffizienz von Transformern und großen Sprachmodellen (LLMs) bei längeren Sequenzen in kleinen bis mittleren NLP-Aufgaben. Die Mamba-SSM-Architektur verzichtet auf die Notwendigkeit einer Aufmerksamkeits-Schicht oder MLB-Blöcken in Transformern. Allerdings verstärken die aktuellen Mamba-Modelle nicht die Steuerbarkeit der Zustandsraumgleichungen bei der Berechnung der Matrizen A, B, C und D in jedem Zeitschritt, was die Komplexität und die benötigten Rechenkosten erhöht. In diesem Artikel zeigen wir, dass die Anzahl der Parameter durch Verstärkung der Steuerbarkeit in den Zustandsraumgleichungen im vorgeschlagenen Sparse-Mamba (S-Mamba) signifikant verringert werden kann, während die Leistung erhalten bleibt. Die steuerbare n x n Zustandsmatrix A ist spärlich und hat nur n freie Parameter. Unser neuartiger Ansatz gewährleistet ein steuerbares System und könnte der Schlüssel für Mamba 3 sein.