生成AIパスポート試験 LLM・プロンプト実践 練習問題 第5問: LLMのプレトレーニング（事前学習）の説明として、最も適切なものはどれか。

正解: 3. 大量のテキストから言語の一般的なパターンを学ぶ

大量のテキストで言語の一般的なパターンを学び、後続タスクの土台を作ることがプレトレーニングである。「人手で作った指示と応答の例で指示に従うよう調整する」は教師ありファインチューニング（指示チューニング）、「人間の好みの評価で応答の傾向を調整する」は人間のフィードバックによる強化学習（RLHF）で、いずれも事前学習の後に行う段階である。「プロンプトを入力する操作」は推論時の利用であり、事前学習とは別である。

関連キーワード: プレトレーニング・事前学習・転移学習・LLM