Item-Sprachmodell für konversationelle Empfehlungen

Große Sprachmodelle (LLMs) waren aufgrund ihrer emergenten Fähigkeiten äußerst erfolgreich bei Aufgaben wie dem Verständnis komplexer Dialoge, dem Schließen von Zusammenhängen und dem Programmieren. Diese emergenten Fähigkeiten wurden durch Multimodalität erweitert, um Bild-, Audio- und Videofunktionalitäten einzuschließen. Empfehlungs­systeme hingegen sind entscheidend für Informationssuche und die Entdeckung von Artikeln. Kürzlich gab es Versuche, LLMs für Empfehlungen einzusetzen. Eine Schwierigkeit der aktuellen Ansätze besteht darin, dass das zugrunde liegende LLM üblicherweise nicht mit den Daten des Empfehlungssystems trainiert wird, welche vorwiegend Benutzersignale enthalten und oft nicht öffentlich zugänglich sind. Eine weitere Schwierigkeit ist, dass Benutzerinteraktionssignale oft ein anderes Muster als natürliche Sprache haben, und derzeit unklar ist, ob das LLM-Trainingssetup aus Interaktionssignalen mehr nicht-triviales Wissen erlernen kann als traditionelle Empfehlungs­system­methoden. Schließlich ist es schwierig, mehrere LLMs für unterschiedliche Anwendungsfälle zu trainieren und gleichzeitig die ursprünglichen Sprach- und Schlussfolgerungsfähigkeiten beim Lernen aus Empfehlungssystemdaten zu bewahren. Um diese drei Einschränkungen zu adressieren, schlagen wir ein Item-Sprachmodell (ILM) vor, bestehend aus einem Item-Encoder zur Erzeugung text-angeglichener Item-Repräsentationen, die Benutzersignale kodieren, sowie einem eingefrorenen LLM, das diese Item-Repräsentationen unter Beibehaltung des vortrainierten Wissens versteht. Wir führen umfangreiche Experimente durch, die sowohl die Bedeutung der Sprachangleichung als auch des Benutzerinteraktionswissens im Item-Encoder demonstrieren.