Databricks物語

2009年、カリフォルニア州バークレー。

UCバークレーのコンピュータ科学科の校舎Soda Hallの一室で、当時24歳のPhD学生だったマテイ・ザハリア（Matei Zaharia）は、画面上で這うように進む機械学習のジョブを眺めていました。本来なら数分で終わるはずの処理が、何時間もかかっていました。

当時、ビッグデータの世界ではYahooが構築したHadoop MapReduceというシステムが絶対的な宗教であり、あらゆる大企業がこれを採用していました。しかし、MapReduceはデータを1回読み込んで1回書き出す「バッチ処理」のために設計されており、機械学習のように同じデータを何度も読み込む反復処理を行うと、計算ステップごとに重い物理ディスクにデータを書き戻すという、莫大なインフラ税が発生してしまっていたのです

ザハリアはこの構造に根本的な誤りを見出し、データをメモリ上に保持するインメモリ処理というシンプルな解決策に思い至ります。メモリ内のデータがノードのクラッシュで失われる問題に対しては、データをあちこちに複製する（無駄なコストをかける）のではなく、データが生成された「系統・履歴」を記憶し、失われたデータだけを再計算して瞬時に復元する革新的な概念「RDD（Resilient Distributed Dataset：弾力性のある分散データセット）」を考案しました。

これが、のちに世界中のビッグデータ処理を席巻するオープンソース・エンジンApache Sparkの誕生の瞬間でした。SparkはMapReduceに比べて最大100倍高速に動作し、ザハリアの博士論文はコンピュータ科学史上最も影響力のあるものとしてACM博士論文賞を受賞することになります。

ここからわくわくがはじまるよDatabricks物語