Die Sicherheitsversäumnisse, die wir nicht instrumentieren: Eine Perspektive auf versteckte sicherheitskritische Herausforderungen in modernen KI-Systemen

Zusammenfassung Der aktuelle Diskurs zur KI-Sicherheit konzentriert sich immer noch überproportional auf sichtbare Fehler, einschließlich offensichtlicher Schäden, dramatischer Missbräuche und hypothetischer katastrophaler Szenarien. Dieser Fokus ist unvollständig. In eingesetzten Systemen sind viele der folgenschwersten Fehler leiser: plausibel statt spektakulär, über Komponenten verteilt statt auf eine einzelne Ausgabe beschränkt und werden durch Arbeitsabläufe normalisiert, bevor sie als Gefahren erkannt werden. Wir argumentieren, dass eine zentrale Sicherheitsherausforderung bei modernen KI-Systemen zunehmend nicht nur darin besteht, ob ein Modell eine schädliche Antwort ausgibt, sondern ob das breitere sozio-technische System die Bedingungen bewahrt, unter denen Fehler sichtbar, anfechtbar, eindämmbar und behebbar bleiben. Wir schlagen einen fünfschichtigen Rahmen vor, um diese verborgenen Risiken zu diagnostizieren: (1) epistemische Integrität, die betrifft, ob Beweise und Unsicherheit ehrlich genug dargestellt werden, um eine kalibrierte Vertrauenswürdigkeit zu unterstützen; (2) Kontrollintegrität, die betrifft, ob Autorität, Berechtigungen und Handlungsspielräume unter Angriff und Optimierung robust bleiben; (3) temporale Integrität, die betrifft, ob Sicherheit über Sitzungen, Speicheraktualisierungen und Deployment-Drift hinweg erhalten bleibt; (4) organisatorische Integrität, die betrifft, ob Institutionen die Fähigkeit behalten, Audits durchzuführen, Verantwortung zuzuweisen und wirksam einzugreifen; und (5) ökologische Integrität, die betrifft, ob KI-Systeme die Informationsumgebung bewahren statt sie zu untergraben, auf der zukünftige Aufsicht beruht. Über diese Schichten hinweg identifizieren wir unterbewertete Risikomuster, einschließlich Übervertrauen, Unsicherheit und Legitimitätswäsche bei der Informationsbeschaffung, Prompt Injection, Reward Hacking, Memory Poisoning, Bewertungsbetrug, fiktive menschliche Aufsicht, Verschmutzung synthetischer Beweise und Modellzusammenbruch. Wir schließen mit umsetzbaren Empfehlungen für Design und Governance sowie einer Forschungsagenda, um die KI-Sicherheit von einer engen modellzentrierten Bewertung hin zu soziotechnischer Zuverlässigkeit zu verschieben.