G検定（ジェネラリスト検定） ディープラーニングの応用例 練習問題 第18問: 次の文の（ A ）（ B ）に入る語句の組合せとして、最も適切なものはどれか。 シミュレータで学習したモデルを実機に移すこと（ A ）では、シミュレーションと現

正解: 4. A：sim2real　B：ドメインランダマイゼーション

肢4が正解です。ドメインランダマイゼーションの論文（Tobin ほか, 2017）は、シミュレーションと実機の間の差（リアリティギャップ）を埋めるために、シミュレータの描画の条件を無作為に変えて学習し、変化が十分にあれば実世界もモデルにとって変化の1つに見えるようになると述べています。シミュレーションから実世界へ移すことをsim2realと呼びます。肢1と肢3の報酬成形（Ng ほか, 1999）は、学習を導くために報酬を追加で与える方法です。肢2のオフライン強化学習は、新たにデータを集めず、集め済みのデータから方策を学ぶ設定です。肢3の残差強化学習は、従来の制御器の出力に、強化学習で学んだ残りの部分を足し合わせる方法です。

関連キーワード: sim2real・ドメインランダマイゼーション・残差強化学習・オフライン強化学習・報酬成形