Auf dem Weg zum Federatedgpt: Föderiertes Instruction Tuning

Während „instruction-tuned“ generative große Sprachmodelle (LLMs) eine beeindruckende Fähigkeit zur Generalisierung auf neue Aufgaben gezeigt haben, basieren die Trainingsphasen stark auf großen Mengen vielfältiger und qualitativ hochwertiger Instruktionsdaten (wie ChatGPT und GPT-4). Leider kann das Beschaffen qualitativ hochwertiger Daten, insbesondere wenn es sich um menschlich verfasste Daten handelt, erhebliche Herausforderungen hinsichtlich Kosten und Zugänglichkeit darstellen. Darüber hinaus können Datenschutzbedenken den Zugang zu solchen Daten weiter einschränken, was den Prozess der Beschaffung komplex und vielschichtig macht. Um dieses Problem anzugehen, stellt unsere Studie einen neuen Ansatz namens Federated Instruction Tuning (FedIT) vor, der föderiertes Lernen (FL) als Lernrahmen für das Instruction Tuning von LLMs nutzt. Dies ist die erste Erforschung von FL-basiertem Instruction Tuning für LLMs. Dies ist besonders wichtig, da Textdaten überwiegend von Endbenutzern generiert werden. Zum Beispiel kann das Sammeln großer Mengen alltäglicher Nutzerkonversationen ein nützlicher Ansatz zur Verbesserung der Generalisierbarkeit von LLMs sein, da sie authentische und natürliche Reaktionen erzeugen können. Daher ist es unerlässlich, FL-Ansätze zu gestalten und anzupassen, um diese vielfältigen Instruktionen der Nutzer, die auf lokalen Geräten gespeichert sind, effektiv zu nutzen und dabei Bedenken hinsichtlich der Datensensitivität und der Kosten der Datenübertragung zu mindern. In dieser Studie verwenden wir umfassende qualitative Analysen, einschließlich der vorherrschenden GPT-4 Auto-Evaluation, um zu veranschaulichen, wie unser FedIT-Framework die Leistungsfähigkeit von LLMs verbessert. Unter Nutzung vielfältiger Instruktionssets auf der Clientseite übertrifft FedIT das zentralisierte Training bei nur begrenzten lokalen Instruktionen.