データサイエンティスト検定 リテラシーレベル データサイエンス(機械学習・AI・非構造化データ) 練習問題 第55問: 「犬が猫を追う」と「猫が犬を追う」の2つの文を、語を「犬」「が」「猫」「を」「追う」に区切ったうえで、Bag of Wordsで表す。この2つの文の表し方につい
データサイエンス(機械学習・AI・非構造化データ)
– / 63 解いた
第55問
「犬が猫を追う」と「猫が犬を追う」の2つの文を、語を「犬」「が」「猫」「を」「追う」に区切ったうえで、Bag of Wordsで表す。この2つの文の表し方について述べたものとして、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 2つの文は同じベクトルになるが、2-gramを特徴に加えると、語の並びの違いから2つの文を区別できるようになる
2つの文は同じベクトルになるが、2-gramを特徴に加えると並びの違いから区別できる、が適切です。scikit-learn 1.7のドキュメント(Feature extraction)は、Bag of Wordsは文書を語の出現で表し、文書の中での語の相対的な位置の情報を捨てると説明しています。
2つの文はどちらも5語が1回ずつ現れるので、出現回数のベクトルは同じです。同じドキュメントは、局所的な順序の情報を残すために、1語に加えて隣り合う2語の組(2-gram)も取り出す方法を示しています。
「犬が猫を追う」の2-gramは「犬が」「が猫」「猫を」「を追う」、「猫が犬を追う」は「猫が」「が犬」「犬を」「を追う」で、組が違うので区別できます。位置が値に反映されるという記述は、位置を捨てる性質と逆です。
同じベクトルになるのは同じ語が同じ回数ずつ現れるためで、語は語ごとに別の列として数え、意味の近い語をまとめることはしません。
関連キーワード: Bag of Words・n-gram・テキストの前処理・自然言語処理
模試 (100問)
この問題が解けたら、本試験はどうですか?本番形式で、ほかの科目もまとめて確かめる
本番形式の模擬試験で実力チェックPremium (月980円)Premium (ご利用中)本番と同じ制限時間
広告