Kartierung von Diskriminierung in LLM-gesteuerten HR-Systemen

Die nachhaltigen Entwicklungsziele der Vereinten Nationen (UN SDGs) priorisieren inklusive und faire Beschäftigung. KI-gestützte Rekrutierungstools – insbesondere Large Language Models (LLMs) – werfen jedoch Bedenken hinsichtlich potenzieller demografischer Verzerrungen auf. Dieser Beitrag stellt einen kontrollierten synthetischen Datensatz und eine Methodik vor, um zu messen, wie sensible Merkmale (z. B. Rasse, Geschlecht, Alter) die Kandidatenbewertungen und Paarvergleiche in LLM-basierten Einstellungsprozessen beeinflussen. Konkret generierten wir einen ausgeglichenen Datensatz mit 1.000 synthetischen Kandidatenprofilen (jeweils inklusive Anschreiben) und evaluierten diesen mit 28 führenden LLMs, darunter proprietäre (z. B. OpenAI GPT, Gemini, Grok, Claude) und Open-Source-Modelle (z. B. Llama, GigaChat). Synthetische Daten eliminieren reale demografische/berufliche Störfaktoren, sodass beobachtete Unterschiede ausschließlich das intrinsische Verhalten der LLMs widerspiegeln. Die Ergebnisse zeigen, dass berufliche Attribute (z. B. Fähigkeiten, Erfahrung) die Haupttreiber für Rankings sind, mit 76 %–80 % statistisch signifikanter Wirkung; jedoch weisen 8 %–9 % demografischer Merkmale persistente, signifikante Verzerrungen über mehrere LLMs hinweg auf. Wir entwickelten eine „Bias-Karte“, die die Leistung der LLMs quantifiziert, und betonen, dass die Minderung auch kleiner Verzerrungen im automatisierten Einstellungsprozess entscheidend ist, um Beschäftigungsungleichheiten nicht zu verstärken und die inklusive Vision der UN SDGs zu wahren.