POSTER: LLM-PQ: Bereitstellung von LLM auf heterogenen Clustern mit phasenbewusster Partition und adaptiver Quantisierung

Die enormen Größen von Large-scale Language Models (LLMs) führen zu hohem Ressourcenbedarf und erheblichen Kosten für den Betrieb der Modelle. Obwohl die Modelle heutzutage überwiegend auf einheitlichen GPUs hoher Leistung bereitgestellt werden, kann die Nutzung eines heterogenen Clusters mit einer Mischung verfügbarer GPUs mit hoher und geringer Kapazität potenziell die Bereitstellungskosten erheblich senken. Dieses Papier stellt LLM-PQ vor, ein System, das adaptive Modellquantisierung und phasenbewusste Partition empfiehlt, um die Effizienz der LLM-Bereitstellung auf heterogenen GPU-Clustern zu verbessern. Umfangreiche Experimente mit produktionsnahen Inferenz-Workloads zeigen eine Steigerung des Durchsatzes bei der Inferenz und demonstrieren deutliche Vorteile gegenüber dem Stand der Technik.