生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第20問: GPT-2の発表時に示された特徴として最も適切なのはどれか。

正解: 4. 15億パラメータのTransformer型言語モデルで、それまでの語列から次語を予測するよう学習された

GPT-2は15億パラメータのTransformer型言語モデルで、それまでの語列を文脈として次の語を予測する。「1750億パラメータで、少数の例示から新しい課題をこなせた」は2020年のGPT-3の説明である。「RLHFの三段階」は後のInstructGPTで明確化された手順であり、「文章の左右を同時に参照するマスク言語モデル」はBERTの事前学習を混同している。

関連キーワード: GPT-2・パラメータ・Transformer・次単語予測