生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第15問: 後にGPT-1と呼ばれるモデルで示された学習手順として最も適切なのはどれか。

正解: 3. 大量のラベルなし文章で生成的な事前学習を行い、その後に各NLPタスクへ識別的ファインチューニングする

GPT-1の論文はラベルなし文章で言語モデルを生成的に事前学習し、ラベル付きデータで各タスクへファインチューニングする枠組みを示した。「毎回ゼロから」は転移を使わず、「画像の真偽判定」は対象外である。「順位付けだけで事前学習なし」は後のRLHF工程を混同している。

関連キーワード: GPT-1・GPTモデル・事前学習・ファインチューニング・NLP