Bewertung: von Präzision, Rückruf und F-Maß bis ROC, Informiertheit, Markiertheit und Korrelation

Häufig verwendete Bewertungsmaße wie Rückruf, Präzision, F-Maß und Rand-Genauigkeit sind verzerrt und sollten nicht ohne klares Verständnis der Verzerrungen und entsprechende Bestimmung von Zufalls- oder Baseline-Niveaus der Statistik verwendet werden. Mit diesen Maßen kann ein System, das objektiv in Bezug auf Informiertheit schlechter abschneidet, bei jedem dieser gängigen Maße besser erscheinen. Wir diskutieren mehrere Konzepte und Maße, die die Wahrscheinlichkeit widerspiegeln, dass eine Vorhersage informiert statt zufällig erfolgt. Informiertheit und führen Markiertheit als duales Maß für die Wahrscheinlichkeit ein, dass eine Vorhersage markiert statt zufällig ist. Abschließend zeigen wir elegante Verbindungen zwischen den Konzepten Informiertheit, Markiertheit, Korrelation und Signifikanz sowie deren intuitive Beziehungen zu Rückruf und Präzision und skizzieren die Erweiterung vom dichotomen Fall zum allgemeinen Mehrklassenfall.