Spark の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• Spark へ行く。
• Spark の差分を削除

[[FrontPage]]

*概要 [#h90b660b]
-HadoopのMapReduceソフト。メモリベースなので高速

*特徴 [#mcf318fe]
データを分散ファイルシステムである HDFS に置く代わりに、分散したメモリ上に置かれた分散データセット ( RDD ) の上に置くことで、データ解析にかかる時間を飛躍的に向上させたソフトウェアです。公式サイトでは、 Hadoop に比べて100倍高速であると謳われています。もちろん、データをメモリ上に置くわけですから、 Hadoop に比べれば同一サイズのクラスター上で扱えるデータは比較的小規模なものになります。メモリに乗りきらないデータは Hadoop で処理し、メモリに乗る比較的小規模なデータは Spark で高速に処理するといった使い分けが可能でしょう。