生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第20問: GPT-2の発表時に示された特徴として最も適切なのはどれか。

正解: 4. 15億パラメータのTransformer型言語モデルで、直前の語から次の語を予測する目的で学習された

GPT-2は15億パラメータのTransformer型言語モデルで、前の語を条件に次の語を予測する。「1.5万パラメータ」「画像分類だけ」は規模も用途も異なる。「RLHFの三段階」は後のInstructGPTで明確化された手順であり、「左右を同時に見るMLM」はBERTの事前学習を混同している。

関連キーワード: GPT-2・パラメータ・Transformer・次単語予測