G検定(ジェネラリスト検定) ディープラーニングの応用例 練習問題 第10問: 単語の埋め込み表現に関する説明として、最も不適切なものはどれか。
ディープラーニングの応用例
– / 66 解いた
第10問
単語の埋め込み表現に関する説明として、最も不適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 1. ELMoは、単語ごとに1つの固定したベクトルを割り当てるので、文脈が違っても同じ単語は同じベクトルで表される。
肢1が不適切です。ELMoの論文(Peters ほか)は、大規模なテキストで事前学習した深い双方向言語モデル(biLM)の内部状態から単語の表現を作り、同じ単語でも文脈によって使われ方が変わること(多義性)を表せるとしています。
単語ごとに1つの固定したベクトルを割り当てるのはword2vecのような静的な埋め込みで、肢4はその性質の説明として適切です(Jurafsky・Martin『Speech and Language Processing』の埋め込みの章)。
肢3はELMoの説明どおりです。
肢2はfastTextの論文(Bojanowski ほか)のとおりで、単語を文字n-gramの集まりとして表し、そのベクトルの和で単語を表すため、学習データに無かった単語にも表現を作れます。
関連キーワード: ELMo・fastText・分散表現・文脈に依存した表現
広告
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック
広告