生成AIパスポート試験 生成AIの仕組みと歴史 練習問題 第22問: InstructGPTで用いられたRLHFの主要な手順を、実施順に並べたものとして最も適切なのはどれか。

正解: 1. 人間の実演で教師あり調整 → 応答順位で報酬モデルを学習 → 報酬で強化学習

InstructGPTは人間の望ましい応答例で教師あり調整し、複数応答の順位データから報酬モデルを作り、その報酬を最大化するようPPOで方策を調整した。報酬モデルは複数の応答に人間が付けた順位から学習し、強化学習はその報酬モデルの出力を報酬として行うため、教師あり調整 → 報酬モデル → 強化学習の順になる。報酬モデルより先に強化学習を置く順序や、教師あり調整を後に回す順序は論文の手順と異なる。

関連キーワード: InstructGPT・RLHF・報酬モデル・教師ありファインチューニング