Bewertung von kollaborativen Filterempfehlungssystemen

Empfehlungssysteme wurden auf viele, oft nicht vergleichbare Weise evaluiert. In diesem Artikel überprüfen wir die wichtigsten Entscheidungen bei der Bewertung kollaborativer Filterempfehlungssysteme: die benutzerbezogenen Aufgaben, die bewertet werden, die verwendeten Analysearten und Datensätze, die Methoden zur Messung der Vorhersagequalität, die Bewertung von Vorhersageattributen abgesehen von der Qualität sowie die benutzerbasierte Bewertung des Systems als Ganzes. Zusätzlich zur Überprüfung der von früheren Forschern verwendeten Bewertungsstrategien präsentieren wir empirische Ergebnisse aus der Analyse verschiedener Genauigkeitsmetriken in einem Inhaltsbereich, in dem alle getesteten Metriken grob in drei Äquivalenzklassen zusammenfielen. Metriken innerhalb jeder Äquivalenzklasse zeigten eine starke Korrelation, während Metriken aus verschiedenen Klassen unkorreliert waren.