G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第33問: 次の文の空所（ A ）（ B ）に入る語句の組合せとして、最も適切なものはどれか。 Adamは、勾配の1次モーメントと2次モーメントの推定値を指数移動平均で更新

肢3が正解です。Adamの論文（Kingma・Ba）の2節は、1次と2次のモーメントの移動平均を0のベクトルで初期化するため推定値が0の側に偏り、その偏りは特に学習の初めの時刻と、減衰率 β が1に近いときに大きいと説明しています。

3節は、2次モーメントの移動平均の期待値が、真の2次モーメントに (1 − β₂^t) を掛けた値になることを示し、この項で割って偏りを補正するとしています（1次モーメントも同様に 1 − β₁^t で割る）。t が大きくなると β^t は0に近づくので、補正は学習の初めに強く効き、次第に効かなくなります。

β^t で割る肢1と肢4では、t が大きくなるほど値が際限なく膨らみます。偏りの向きを「真の値より大きい側」とした肢2と肢4も誤りです。

0から始める平均は0の側に偏り、0以上の値をとる2次モーメントの推定値は真の値より小さめに出ます。