Bewertung von Eindringungserkennungssystemen: Die DARPA-Offline-Eindringungserkennungsevaluation von 1998

Ein Evaluierungstestfeld für Eindringungserkennung wurde entwickelt, das normalen Datenverkehr erzeugte, ähnlich dem an einer Regierungsstelle mit Hunderten von Benutzern auf Tausenden von Hosts. Mehr als 300 Instanzen von 38 verschiedenen automatisierten Angriffen wurden innerhalb von sieben Wochen Trainingsdaten und zwei Wochen Testdaten gegen UNIX-Zielsysteme gestartet. Sechs Forschungsgruppen nahmen an einer Blindevaluation teil und die Ergebnisse wurden für Scanning-, Denial-of-Service (DoS), Remote-to-Local (R2L) und User-to-Root (U2R)-Angriffe analysiert. Die besten Systeme erkannten alte Angriffe, die in den Trainingsdaten enthalten waren, mit moderaten Erkennungsraten von 63 % bis 93 % bei einer Fehlalarmrate von 10 Fehlalarmen pro Tag. Die Erkennungsraten waren bei neuen und neuartigen R2L- und DoS-Angriffen, die nur in den Testdaten enthalten waren, deutlich schlechter. Die besten Systeme konnten ungefähr die Hälfte dieser neuen Angriffe nicht erkennen, welche unter anderem den schädlichen Zugriff auf Root-Privilegien durch entfernte Benutzer beinhalteten. Diese Ergebnisse legen nahe, dass die weitere Forschung sich auf die Entwicklung von Techniken konzentrieren sollte, neue Angriffe zu erkennen, anstatt bestehende regelbasierte Ansätze zu erweitern.