誇大宣伝を超えて：ビッグデータの概念、方法、および分析

ビッグデータの話になると、まず最初に、そして時には唯一の特徴としてサイズが際立って認識されます。本論文は、ビッグデータの他の独特かつ定義的な特性を捉えたより広い定義を提供しようと試みます。ビッグデータの急速な進化と業界での採用は、議論を一般向けの媒体へと跳躍させ、学術出版界がそれに追いつく必要を生じさせました。多くの分野の学術雑誌は、ビッグデータに関する関連する議論から恩恵を受けるにもかかわらず、まだこのトピックを扱っていません。本論文は、実務者と学術者の定義を統合してビッグデータの統合的な記述を提示します。本論文の主要な焦点は、ビッグデータに用いられる分析手法にあります。特に、本論文の特徴として、ビッグデータの95％を占める非構造化データに関連する分析に注目しています。本論文は、非構造化のテキスト、音声、動画形式の大量で異種混合なデータを活用するために適切で効率的な分析手法の開発の必要性を強調しています。また、本論文は構造化されたビッグデータに対する予測分析用の新たなツールの考案の必要性も強調します。実践されている統計手法はサンプルデータからの推論を目的に考案されましたが、構造化されたビッグデータの異種混在、ノイズ、および膨大なサイズは、ビッグデータの落とし穴、例えば偽相関を避けうる計算効率の高いアルゴリズムの開発を要求しています。