G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第17問: ミニバッチ学習に関する説明として、最も適切なものはどれか。

正解: 3. 10,000件の訓練データを100件ずつのミニバッチで学習すると、1エポックの間にパラメータは100回更新される。

肢3が正解です。1エポックは訓練データを1周することで、1回の更新（イテレーション）にミニバッチ1つを使うので、1エポックの更新回数は 10,000 ÷ 100 = 100回です。Deep Learning（Goodfellowら）の8.1.3節は、訓練データ全体を使う方法をバッチ（決定論的）勾配法、1件ずつ使う方法を確率的またはオンラインの方法と呼び、深層学習の多くはその中間のミニバッチの方法を使うと説明しています。肢1は呼び名が逆です。肢2は不適切で、同書は訓練データを何周したかをエポックで数えています。肢4は逆で、少数の事例の平均で勾配を近似するので1回の更新の計算は小さく、総計算量で見ると速く収束しやすいとされます。

関連キーワード: ミニバッチ学習・バッチ学習・オンライン学習・エポック・イテレーション