データサイエンティスト検定 リテラシーレベル データエンジニアリング 練習問題 第73問: 分散処理の基盤であるApache Sparkで、ファイルから読み込んだデータに対し、絞り込み(filter)と変換(map)を書いた行を実行するとすぐに終わった
分散処理の基盤であるApache Sparkで、ファイルから読み込んだデータに対し、絞り込み(filter)と変換(map)を書いた行を実行するとすぐに終わったが、続けて件数を数える(count)行を実行すると長い時間がかかった。この動きの説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 変換の行では元のデータに行う処理が記録されるだけで、件数を数える操作が呼ばれたときにまとめて計算される
変換の行では処理が記録されるだけで、件数を数える操作が呼ばれたときに計算されます。Apache Sparkの文書(RDD Programming Guide、Spark 4.3.0)によると、操作には既存のデータから新しいデータの集まりを作る変換(transformation)と、計算した値をドライバのプログラムへ返すアクション(action)があり、変換はすべて遅延評価です。
元のデータに行う変換を覚えておき、アクションが結果を求めたときに初めて計算します。絞り込みと変換は変換、件数を数える操作はアクションなので、時間は件数を数える行でかかります。
「計算は済んでおり」とする肢と「書き出しておいた結果のファイルを読み直す」とする肢は、変換をその場で実行されるものと取り違えています。「すべてドライバへ送り返してから数える」とする肢も誤りで、件数を数える操作がドライバへ返すのは要素の数という値です。
Sparkで計算が走るのは、変換の行ではなく、結果を求めるアクションの行です。
関連キーワード: Apache Spark・遅延評価・変換・アクション
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間