生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第15問: 後にGPT-1と呼ばれるモデルで示された学習手順として最も適切なのはどれか。

正解: 3. ラベルなし文章で事前学習し、各NLPタスクへファインチューニングする

GPT-1の論文はラベルなし文章で言語モデルを生成的に事前学習し、ラベル付きデータで各タスクへファインチューニングする枠組みを示した。「毎回ゼロから」は転移を使わず、「隠した単語を左右の文脈から予測する」のはBERTのMLMで、GPT-1は左から右への言語モデルで事前学習した。「順位付けで報酬モデルを作り強化学習する」のは後のInstructGPTのRLHF工程である。

関連キーワード: GPT-1・GPTモデル・事前学習・ファインチューニング・NLP