Optimierter gruppierter Abfrageaufmerksamkeitsmechanismus für Transformer

Groupierte Abfrageaufmerksamkeit (GQA) wurde in großen Sprachmodellen (LLMs) weit verbreitet eingesetzt, um die Komplexität der Multi-Head-Attention (MHA) zu verringern. Um eine MHA in eine GQA umzuwandeln, werden benachbarte Abfragen in der MHA gleichmäßig in Gruppen aufgeteilt, wobei jede Gruppe die Wert- und Schlüssel-Schichten teilt. In dieser Arbeit schlagen wir AsymGQA vor, einen aktivierungsinformierten Ansatz zur asymmetrischen Gruppierung einer MHA zu einer GQA für eine bessere Modellleistung. Unser AsymGQA übertrifft die GQA bei gleichem Modellgrößenbudget. Zum Beispiel zeigt AsymGQA LLaMA-2-7B eine Genauigkeitssteigerung von 7,5 % bei MMLU im Vergleich zur Nachbargruppierung. Unser Ansatz adressiert das Trade-off-Problem der GQA zwischen Modellleistung und Hardwareeffizienz.