データサイエンティスト検定 リテラシーレベル データエンジニアリング 練習問題 第44問: 大量の文書に出てくる語ごとの回数を、MapReduceの仕組みで数える。Mapの処理は、受け持った文書の各行から(語, 1)の組を出力する。この後の流れの説明と
データエンジニアリング
– / 81 解いた
第44問
大量の文書に出てくる語ごとの回数を、MapReduceの仕組みで数える。Mapの処理は、受け持った文書の各行から(語, 1)の組を出力する。この後の流れの説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 3. 仕組みがMapの出力を語ごとに並べ替えてReduceの処理に渡し、Reduceの処理が語ごとに回数を合計する
仕組みがMapの出力を語ごとに並べ替えてReduceの処理に渡し、Reduceの処理が語ごとに回数を合計するという説明が適切です。Apache HadoopのMapReduceの解説文書(MapReduce Tutorial)は、入力を独立した塊に分けてMapのタスクが並列に処理し、仕組みがMapの出力を並べ替えてReduceのタスクの入力にすること、語を数える例ではReduceが語ごとの出現回数の値を合計することを説明しています。
Mapの出力をそのまま最終の結果とする説明は、並べ替えと集約の段を抜かしています。Reduceの処理が元の文書を1台に集めて数え直すという説明は、Mapの結果を受けて集約する流れと合いません。
MapとReduceを1台で順に行いほかのサーバを待機させる説明は、多数の機械で並列に処理するという仕組みのねらいと逆です。分けて並列に処理し、並べ替えてから集約する流れを押さえましょう。
関連キーワード: MapReduce・Hadoop・分散処理・並列処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告