Automatisierung der Planauswertung mithilfe agentischer großer Sprachmodelle

Die manuelle Planauswertung steht vor Herausforderungen hinsichtlich Zuverlässigkeit und Skalierbarkeit. Diese Forschung vergleicht menschliche Bewertungen mit einem großen Sprachmodell (LLM) unter Verwendung eines Multi-Agenten-Ansatzes und/oder retrieval-unterstützter Generierung (RAG), um komplexe Inhaltsanalyseaufgaben zu automatisieren. Wir stellen fest, dass LLMs im Allgemeinen vergleichbare Leistungen wie Menschen erzielen, wobei die meisten Fehler auf Überimplikationen und begrenztes Domänenwissen zurückzuführen sind. Der Multi-Agenten-Ansatz verbessert die Leistung des LLM erheblich und reduziert häufige maschinelle Fehler um über 50 Prozent. Die Integration solcher LLM-Tools mit menschlicher Aufsicht wird voraussichtlich zum neuen Standard für Inhaltsanalysen; diese Studie zeigt, wie die Effizienz und Präzision künstlicher Intelligenz (KI) zusammen mit dem kontextuellen Verständnis und der Fachkenntnis von Menschen genutzt werden kann.