ControlLM: Gestaltung vielfältiger Persönlichkeiten für Sprachmodelle

Mit der zunehmenden Größe und Leistungsfähigkeit von Sprachmodellen zeigen diese eine Vielzahl neu auftretender Verhaltensweisen, sowohl vorteilhafte als auch bedenkliche. Dies erhöht den Bedarf, das Verhalten der Modelle zu kontrollieren. Wir möchten die Persönlichkeitseigenschaften von Sprachmodellen zur Inferenzzeit steuern können, um verschiedene Charaktereigenschaften zu erzeugen, auf deren Grundlage die Anforderungen unterschiedlicher Aufgabentypen erfüllt werden können. Persönlichkeit ist eine höherstufige und abstraktere Verhaltensrepräsentation für Sprachmodelle. Wir stellen ControlLM vor, das differenzielle Aktivierungsmuster nutzt, die aus kontrastierenden Verhaltensanweisungen im latenten Raum des Modells abgeleitet werden, um die Persönlichkeitseigenschaften des Modells während der Inferenz zu beeinflussen. Dieser Ansatz ermöglicht eine präzise, Echtzeit-Anpassung des Modellverhaltens. Zunächst zeigen wir die Fähigkeit von ControlLM, ohne jegliches Training vielfältige Persönlichkeitsverhalten hervorzurufen, während die präzise Steuerung erlaubt, Persönlichkeitseigenschaften eng an durchschnittliche menschliche Werte anzupassen. Anschließend demonstrieren wir verbesserte Schlussfolgerungen und Beantwortung von Fragen durch selektive Verstärkung nützlicher Attribute wie Gewissenhaftigkeit und Freundlichkeit. Wir hoffen, dass diese Arbeit die Forschung zur Kontrolle menschenähnlichen Verhaltens von Sprachmodellen inspiriert und Einblicke für zukünftige Forschung liefert. Unser Code ist öffentlich verfügbar unter: https://github.com/wengsyx/ControlLM.