과대광고를 넘어서: 빅데이터 개념, 방법론 및 분석

크기는 빅데이터를 언급할 때 가장 먼저, 때로는 유일하게 떠오르는 차원입니다. 본 논문은 빅데이터의 다른 독특하고 정의적인 특성을 포괄하는 보다 폭넓은 정의를 제시하려고 합니다. 산업계에서 빅데이터가 빠르게 진화하고 채택됨에 따라 대중 매체로의 담론이 급증했으며, 학술 출판은 이를 따라잡고 있습니다. 여러 학문 분야의 학술 저널들은 빅데이터와 관련된 논의를 통해 혜택을 볼 수 있음에도 아직 이 주제를 다루지 않고 있습니다. 본 논문은 실무자와 학계의 정의를 통합하여 빅데이터에 대한 통합적인 설명을 제공합니다. 논문의 주요 초점은 빅데이터에 사용되는 분석 방법론입니다. 특히 본 논문이 구별되는 특징은 빅데이터의 95%를 차지하는 비정형 데이터와 관련된 분석에 초점을 맞춘 점입니다. 본 논문은 비정형 텍스트, 오디오, 비디오 형식의 방대한 이종 데이터 볼륨을 활용하기 위한 적절하고 효율적인 분석 방법 개발의 필요성을 강조합니다. 또한 구조화된 빅데이터에 대한 예측 분석 도구 개발의 필요성도 재확인합니다. 실제 적용되는 통계 방법은 표본 데이터로부터 추론하도록 고안되었습니다. 구조화된 빅데이터의 이질성, 잡음, 그리고 방대한 크기는 가짜 상관관계와 같은 빅데이터 함정을 피할 수 있는 계산 효율적인 알고리즘 개발을 요구합니다.