Verbesserung der Inferenz-Effizienz großer Sprachmodelle: Untersuchung von Optimierungsstrategien und architektonischen Innovationen

Große Sprachmodelle wachsen an Größe, und wir erwarten, dass dies so weitergeht, da größere Modelle schneller trainieren. Diese Größenzunahme wird jedoch die Inferenzkosten erheblich beeinflussen. Daher ist Modellkompression wichtig, um die Leistung größerer Modelle beizubehalten, jedoch mit reduzierten Betriebskosten. In dieser Arbeit untersuchen wir Methoden der Modellkompression und zeigen empirisch, dass die einfache Methode, spätere Attention-Unterebenen in Transformer-LLMs zu überspringen, eine effektive Kompressionsmethode darstellt, da diese Schichten redundant sind und gleichzeitig sehr rechenaufwendig. Wir beobachteten eine 21 % schnellere Ein-Token-Generierung beim Llama 2 7B, wobei überraschenderweise und unerwartet die Leistung bei mehreren gängigen Benchmarks verbessert wurde.