OptLLM: Optimale Zuweisung von Abfragen an Large Language Models

Large Language Models (LLMs) haben aufgrund ihrer bemerkenswerten Fähigkeiten große Aufmerksamkeit erlangt, was dazu führt, dass immer mehr Unternehmen LLMs als Dienstleistung anbieten. Verschiedene LLMs erzielen unterschiedliche Leistungen zu unterschiedlichen Kosten. Für Nutzer besteht die Herausforderung darin, die LLMs auszuwählen, die am besten zu ihren Bedürfnissen passen, wobei ein Gleichgewicht zwischen Kosten und Leistung gefunden werden muss. In diesem Beitrag schlagen wir einen Rahmen zur kosteneffizienten Zuweisung von Abfragen an LLMs vor. Angesichts einer Menge von Eingabeabfragen und Kandidaten-LLMs bietet unser Rahmen, genannt OptLLM, den Nutzern eine Reihe optimaler Lösungen zur Auswahl, die mit ihren Budgetvorgaben und Leistungspräferenzen übereinstimmen, einschließlich Optionen zur Maximierung der Genauigkeit und Minimierung der Kosten. OptLLM sagt die Leistung der Kandidaten-LLMs für jede Abfrage mittels eines Multi-Label-Klassifikationsmodells mit Unsicherheitsabschätzung voraus und generiert dann iterativ eine Menge nicht dominierter Lösungen durch Zerstörung und Rekonstruktion der aktuellen Lösung. Um die Effektivität von OptLLM zu bewerten, führen wir umfangreiche Experimente mit verschiedenen Aufgabentypen durch, darunter Textklassifikation, Fragebeantwortung, Sentiment-Analyse, logisches Schließen und Log-Parsing. Unsere experimentellen Ergebnisse zeigen, dass OptLLM die Kosten um 2,40 % bis 49,18 % erheblich senkt und dabei dieselbe Genauigkeit wie das beste LLM erreicht. Im Vergleich zu anderen Multi-Objective-Optimierungsalgorithmen verbessert OptLLM die Genauigkeit um 2,94 % bis 69,05 % bei gleichen Kosten oder spart Kosten um 8,79 % bis 95,87 %, während die höchstmögliche Genauigkeit beibehalten wird.