Den Geist der Giganten bearbeiten: Eine eingehende Untersuchung der Fallstricke beim Wissen-Editing in großen Sprachmodellen

Wissen-Editing ist eine aufstrebende Technik zur effizienten Aktualisierung faktischer Kenntnisse in großen Sprachmodellen (LLMs) bei minimaler Parameterveränderung. Jüngste Studien haben jedoch besorgniserregende Nebeneffekte wie Wissensverzerrung und Verschlechterung der allgemeinen Fähigkeiten nach der Bearbeitung festgestellt. Diese Übersichtsarbeit bietet eine umfassende Untersuchung dieser Nebeneffekte und präsentiert eine einheitliche Sicht auf die Herausforderungen beim Wissen-Editing in LLMs. Wir diskutieren relevante Arbeiten und fassen potenzielle Forschungsrichtungen zusammen, um diese Einschränkungen zu überwinden. Unsere Arbeit hebt die Grenzen gegenwärtiger Methoden des Wissen-Editings hervor und betont die Notwendigkeit eines tieferen Verständnisses der inneren Wissensstrukturen von LLMs sowie verbesserter Wissen-Editing-Methoden. Zur Förderung zukünftiger Forschung haben wir ergänzende Materialien wie eine Sammlung von Arbeiten öffentlich unter https://github.com/MiuLab/EditLLM-Survey bereitgestellt.