生成AIパスポート試験 LLM・プロンプト実践 練習問題 第5問: LLMのプレトレーニング（事前学習）の説明として、最も適切なものはどれか。

正解: 1. 大量のテキストで言語の一般的なパターンを学び、後続タスクの土台を作る

「大量のテキストで言語の一般的なパターンを学び、後続タスクの土台を作る」がプレトレーニングである。「質問ごとに重みを初期化」や「正解を返した文章だけを学習データから削除」は学習方法の説明ではない。「プロンプトを入力する操作」は推論時の利用であり、事前学習とは別である。

関連キーワード: プレトレーニング・事前学習・転移学習・LLM