G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第12問: 大規模言語モデルの性質を調べた論文「Language Models are Few-Shot Learners」（Brown ほか, 2020）の内容として、最

正解: 4. 自己回帰型の言語モデルに、タスクの説明と少数の例を文章で与え、重みを更新せずに多くのタスクで高い性能を示した。

肢4が正解です。この論文（Brown ほか）は、自己回帰型の言語モデルGPT-3を事前学習し、どのタスクでも勾配の更新やファインチューニングをせず、タスクと少数の実演例をテキストで与える設定（few-shot）で評価して、翻訳や質問応答などで高い性能を示しました。肢1は誤りで、マスクした単語を左右の文脈から当てる事前学習はBERTの方式です。肢2は誤りで、論文は従来の方法がタスクごとに数千〜数万件のファインチューニング用データを必要とすることを課題として挙げ、それを減らす方向を示しました。肢3は誤りで、論文は大規模なWebのテキストで学習することに伴う評価データの混入（汚染）の問題を調べています。

関連キーワード: 大規模言語モデル・few-shot・文脈内学習・事前学習・自己回帰モデル