データサイエンティスト検定 リテラシーレベル データエンジニアリング 練習問題 第72問: Apache Spark のアプリケーションがクラスタの上で動く仕組みの説明として、最も適切なものはどれか。
データエンジニアリング
– / 81 解いた
第72問
Apache Spark のアプリケーションがクラスタの上で動く仕組みの説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. クラスタマネージャが資源を割り当て、ドライバの SparkContext が各ノードのエグゼキュータにタスクを送って実行させる
クラスタマネージャが資源を割り当て、ドライバの SparkContext が各ノードのエグゼキュータにタスクを送って実行させる、が適切です。Apache Spark の文書『Cluster Mode Overview』によると、アプリケーションは利用者のメインのプログラム(ドライバ)の中の SparkContext が調整し、つないだクラスタマネージャ(Spark 自身のもの・YARN・Kubernetes)が資源を割り当てます。
そのうえで各ノードのエグゼキュータ(計算を行い、データを保持するプロセス)を得て、タスクを送ります。タスクの予定を立てるのも各ドライバで、クラスタマネージャではありません。
エグゼキュータはアプリケーションごとに別々に持ち、アプリケーションが終わるまで動き続けて複数のスレッドでタスクを実行するので、タスクごとに止まらず、別のアプリケーションとは外部の記憶装置に書き出さない限りデータを共有できません。資源の割り当てはクラスタマネージャ、タスクを送るのはドライバ、計算はエグゼキュータが受け持ちます。
関連キーワード: Apache Spark・ドライバ・エグゼキュータ・分散処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告