G検定(ジェネラリスト検定) ディープラーニングの応用例 練習問題 第8問: 文章や単語を数値で表す方法に関する説明として、最も適切なものはどれか。
ディープラーニングの応用例
– / 66 解いた
第8問
文章や単語を数値で表す方法に関する説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 2. TF-IDFは、ある文書の中で多く現れ、かつ出現する文書の数が少ない単語ほど大きな重みを付ける。
肢2が正解です。情報検索の教科書(Manning ほか『Introduction to Information Retrieval』6.2節)は、tf-idfの重みが、ある語が少数の文書の中で何度も現れるときに最も大きく、ほぼすべての文書に現れる語では最も小さくなると説明しています。
肢1は誤りで、ワンホットベクトルは語彙の数と同じ次元を持ち、その単語の位置が1で残りが0のベクトルです(Jurafsky・Martin『Speech and Language Processing』)。意味の近さは表しません。
肢3は誤りで、BoWは語順を捨てて出現回数を残すため、語順が違うだけの文は同じ表現になります。
肢4は誤りで、n-gramは連続するn個の単語の並びです。
関連キーワード: ワンホットベクトル・BoW・TF-IDF・n-gram
広告
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック
広告