G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第43問: 深層強化学習の手法A3CとPPOに関する説明として、最も不適切なものはどれか。

肢1が不適切です。A3Cを示した論文（Mnih ほか, 2016年）は、経験再生の代わりに、複数のエージェントを環境の複数のコピーで非同期に並行して動かす方法をとりました。

各時点で並行するエージェントが異なる状態を経験するので、データの相関が減るとしています。経験再生を使わないため、Actor-Criticのような方策オンの手法も安定して学習できるようになりました。

肢2はこの説明どおりです。肢3と肢4はPPOの論文（Schulman ほか, 2017年）のとおりで、確率の比をクリップした代理目的関数により同じデータで複数エポックの更新ができ、TRPOの利点の一部を持ちながら実装がずっと簡単だとしています。

経験再生を使うDQN系と、並列の行動で相関を減らすA3Cを区別します。