生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第16問: BERTのMLM（Masked Language Model）による事前学習を説明したものとして最も適切なのはどれか。

正解: 4. 入力中の一部トークンを隠し、左右両側の文脈から元のトークンを予測する

MLMは一部トークンをマスクし、左右の文脈を同時に用いて元のトークンを予測する。「左側だけで次語を生成」は自己回帰型言語モデルの説明である。「文章の長さだけ」はNSPではなく、「画素を補う」はBERTの文章事前学習ではない。

関連キーワード: BERT・MLM・Masked Language Model・双方向表現