Rumo a Sistemas Escaláveis para Análise de Big Data: Um Tutorial Tecnológico

Avanços tecnológicos recentes levaram a uma enxurrada de dados de domínios distintos (por exemplo, saúde e sensores científicos, dados gerados por usuários, empresas de Internet e financeiras e sistemas de cadeia de suprimentos) nas últimas duas décadas. O termo big data foi cunhado para capturar o significado dessa tendência emergente. Além do seu mero volume, o big data também apresenta outras características únicas em comparação com dados tradicionais. Por exemplo, o big data é comumente não estruturado e requer mais análise em tempo real. Esse desenvolvimento demanda novas arquiteturas de sistemas para aquisição, transmissão, armazenamento de dados e mecanismos de processamento de dados em larga escala. Neste artigo, apresentamos uma revisão da literatura e um tutorial sobre plataformas de análise de big data, visando fornecer uma visão geral para leitores não especialistas e incentivar um espírito faça-você-mesmo para públicos avançados personalizarem suas próprias soluções de big data. Primeiro, apresentamos a definição de big data e discutimos os desafios do big data. Em seguida, apresentamos uma estrutura sistemática para decompor sistemas de big data em quatro módulos sequenciais, a saber: geração de dados, aquisição de dados, armazenamento de dados e análise de dados. Esses quatro módulos formam uma cadeia de valor do big data. Na sequência, apresentamos uma revisão detalhada de várias abordagens e mecanismos das comunidades acadêmicas e industriais. Além disso, apresentamos o prevalente framework Hadoop para abordar os desafios do big data. Por fim, delineamos vários benchmarks de avaliação e potenciais direções de pesquisa para sistemas de big data.