Auf der Suche nach der Wahrheit: Ein Verhöransatz zur Erkennung von Halluzinationen

Trotz der vielen Fortschritte bei Large Language Models (LLMs) und ihrer beispiellosen schnellen Entwicklung ist ihre Auswirkung und Integration in alle Bereiche unseres täglichen Lebens aus verschiedenen Gründen eingeschränkt. Ein kritischer Faktor, der ihre weitverbreitete Anwendung behindert, ist das Auftreten von Halluzinationen, bei denen LLMs Antworten erfinden, die zwar realistisch klingen, jedoch von der faktischen Wahrheit abweichen. In diesem Artikel stellen wir eine neuartige Methode zur Erkennung von Halluzinationen in großen Sprachmodellen vor, die ein zentrales Problem bei der Einführung dieser Modelle in unterschiedlichen realen Szenarien angeht. Durch umfangreiche Bewertungen über mehrere Datensätze und LLMs, einschließlich Llama-2, untersuchen wir das Maß der Halluzinationen verschiedener aktueller LLMs und demonstrieren die Effektivität unserer Methode, diese automatisch zu erkennen. Bemerkenswert ist, dass wir bei einem spezifischen Experiment mit Llama-2 bis zu 62 % Halluzinationen beobachten, wobei unsere Methode eine Balancierte Genauigkeit (B-ACC) von 87 % erreicht – und das ganz ohne die Nutzung externer Wissensquellen.