Auf dem Weg zu skalierbaren Systemen für Big Data Analytics: Ein Technologietutorial

Jüngste technologische Fortschritte haben in den letzten zwei Jahrzehnten zu einer Flut von Daten aus verschiedenen Bereichen (z. B. Gesundheitswesen und wissenschaftliche Sensoren, nutzergenerierte Daten, Internet- und Finanzunternehmen sowie Lieferkettensysteme) geführt. Der Begriff Big Data wurde geprägt, um die Bedeutung dieses aufkommenden Trends zu erfassen. Neben dem schieren Volumen weist Big Data im Vergleich zu traditionellen Daten auch andere einzigartige Eigenschaften auf. Beispielsweise ist Big Data häufig unstrukturiert und erfordert mehr Echtzeitanalysen. Diese Entwicklung verlangt neue Systemarchitekturen für Datenerfassung, -übertragung, -speicherung und groß angelegte Datenverarbeitungsmechanismen. In diesem Beitrag präsentieren wir eine Literaturübersicht und ein Systemtutorial für Big Data Analytics-Plattformen, mit dem Ziel, Nichtfachleuten einen Gesamtüberblick zu bieten und fortgeschrittenen Nutzern einen Do-it-yourself-Geist zu vermitteln, damit sie eigene Big Data-Lösungen anpassen können. Zunächst präsentieren wir die Definition von Big Data und erörtern Herausforderungen im Bereich Big Data. Anschließend stellen wir einen systematischen Rahmen vor, um Big Data-Systeme in vier aufeinanderfolgende Module zu zerlegen, nämlich Datengenerierung, Datenerfassung, Datenspeicherung und Datenanalyse. Diese vier Module bilden eine Wertschöpfungskette für Big Data. Danach führen wir eine detaillierte Übersicht zahlreicher Ansätze und Mechanismen aus der Forschungs- und Industriecommunity durch. Zusätzlich stellen wir das verbreitete Hadoop-Framework zur Bewältigung von Big Data-Herausforderungen vor. Abschließend skizzieren wir mehrere Bewertungsbenchmarks und potenzielle Forschungsrichtungen für Big Data-Systeme.