G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第59問: オフライン強化学習に関する説明として、最も適切なものはどれか。

「固定のデータから方策を学ぶので、データと異なる行動を評価する際の分布のずれが主な課題となる」が適切です。Levineらのオフライン強化学習のチュートリアル論文は、環境と新たにやり取りせず、固定のデータセットから、実際に使ったときの累積報酬がなるべく大きい方策を学ぶ問題と定義し、データと異なる行動をとったらどうなるかを見積もるときの分布のずれを根本的な課題に挙げています。

「環境とのやり取りを続け」は、追加のデータを集めるオンラインの設定との取り違えです。「データに記録された行動をそのまま真似る」は誤りで、論文はデータの行動より良い方策を得ることを目的としています。

「分布のずれの問題は生じない」は逆で、データを集め直せないからこそ、ずれが問題になります。データに無い行動の価値を誤って大きく見積もっても、オンラインのように試して直すことができない点を押さえましょう。