データサイエンティスト検定 リテラシーレベル データエンジニアリング 練習問題 第45問: 機械学習の学習のように、同じデータに何度も処理を繰り返す計算でApache Sparkが使われる理由の説明として、最も適切なものはどれか。
データエンジニアリング
– / 81 解いた
第45問
機械学習の学習のように、同じデータに何度も処理を繰り返す計算でApache Sparkが使われる理由の説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. データの集まりを複数のノードに分けて持ち、計算した部分をメモリに保持して次の処理で使い回せるから
データの集まりを複数のノードに分けて持ち、計算した部分をメモリに保持して次の処理で使い回せるからという説明が適切です。Apache SparkのRDDの解説文書(RDD Programming Guide)は、RDDをクラスタのノードに分けて持つ要素の集まりとし、persist(cache)で保持すると各ノードが計算した部分をメモリに置いて別の処理でも使い回せ、それが繰り返しの計算や対話的な利用の鍵になると述べています。
1台のノードのメモリに集めるという説明は、ノードに分けて並列に処理する作りと逆です。回ごとにディスクへ書き出して読み直す作りは、繰り返しのたびに読み書きの時間がかかり、メモリに保持して使い回すという利点の説明になりません。
SQLが使えないという説明も誤りで、Sparkには SQL と構造化データを扱う Spark SQL が用意されています。ノードに分けて持つことと、メモリに残して使い回すことを押さえましょう。
関連キーワード: Apache Spark・RDD・インメモリ処理・分散処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告