G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第17問: 人間のフィードバックによる強化学習（RLHF）に関する説明として、最も不適切なものはどれか。

肢2が不適切です。人の選好から学ぶ深層強化学習を示した論文（Christiano ほか, 2017）は、報酬関数を使わずに、人が2つの軌跡の断片を比べてどちらが良いかを選んだデータで報酬を推定し、その報酬で方策を学習しました。

報酬の数式を人が直接書くのではなく、書きにくい目標を人の比較から学ぶ点がこの手法の要です。肢1と肢3はこの論文の内容どおりです。

肢4はInstructGPTの論文（Ouyang ほか, 2022）の報告どおりで、パラメータ数がはるかに少ないInstructGPTの出力が、調整していない大きなGPT-3の出力よりも人の評価で好まれました。この論文では、モデルの出力に人が付けた順位のデータを使ってRLHFでモデルを調整しています。