生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第22問: InstructGPTで用いられたRLHFの主要な手順を、実施順に並べたものとして最も適切なのはどれか。

正解: 2. 人間の実演で教師あり調整する → 応答の順位付けから報酬モデルを学ぶ → その報酬を高めるよう強化学習する

InstructGPTは人間の望ましい応答例で教師あり調整し、複数応答の順位データから報酬モデルを作り、その報酬を最大化するようPPOで方策を調整した。「無作為選択を正解扱い」は選好学習にならない。「畳み込みと識別器」は別モデルの要素であり、「URLを暗記して返す」はRLHFの手順ではない。

関連キーワード: InstructGPT・RLHF・報酬モデル・教師ありファインチューニング