データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第33問: 問い合わせの文を集計する前に、次の原文に処理X・Y・Zを行った。Zは、原文を語に区切った後に行ったものである(「/」は語の区切り)。 原文:スマホの画面が割れた
問い合わせの文を集計する前に、次の原文に処理X・Y・Zを行った。Zは、原文を語に区切った後に行ったものである(「/」は語の区切り)。 原文:スマホの画面が割れたので、スマホを交換した 処理Xの結果:スマホの画面が割れたので、スマホを交換した 処理Yの結果:スマホ/の/画面/が/割れ/た/ので/、/スマホ/を/交換/し/た 処理Zの結果:スマホ/画面/割れ/スマホ/交換 X・Y・Zに当てはまる処理の組合せとして、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. X:表記ゆれの統一、Y:形態素解析、Z:ストップワードの除去
「X:表記ゆれの統一、Y:形態素解析、Z:ストップワードの除去」が適切です。Xは半角の「スマホ」を全角の「スマホ」に書き換えただけで、語の区切りは変わっていません。
文部科学省の「情報Ⅱ」の教材は、前処理として大文字と小文字や空白の有無などの表記のゆれを直すことを挙げています。そろえないと同じ語が別の語として数えられます。
Yは文を語に区切っており、「情報Ⅰ」の教材が説明する、文章を意味のある最小の単位に分ける形態素解析です。Zは「の」「が」「た」など、内容を表しにくい語を除くストップワードの除去です(scikit-learn 1.7 の資料による)。
除いた語は多くの文に共通して出る語で、出現回数が少ないから除いたのではありません。Zの結果に「スマホ」と「スマホ」が両方残るように、区切りと除去だけでは表記のゆれはなくなりません。
出典:『高等学校情報科「情報Ⅰ」教員研修用教材』『高等学校情報科「情報Ⅱ」教員研修用教材』(文部科学省)を加工して作成
関連キーワード: 表記ゆれ・形態素解析・ストップワード・テキストの前処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間