生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第16問: BERTのMLM（Masked Language Model）による事前学習を説明したものとして最も適切なのはどれか。

正解: 1. 隠したトークンを、左右両側の文脈から予測する

MLMは一部トークンをマスクし、左右の文脈を同時に用いて元のトークンを予測する。「左側の文脈から次のトークンを順に予測」は自己回帰型言語モデルの説明である。「二つの文が連続していたかの判定」はBERTのもう一つの事前学習タスクであるNSP（Next Sentence Prediction）で、MLMではない。「欠けた画素を補完する」のはBERTの文章事前学習ではない。

関連キーワード: BERT・MLM・Masked Language Model・双方向表現