G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第13問: 誤差逆伝播法の説明として、最も適切なものはどれか。

正解: 2. 誤差関数の値から、連鎖律を使って出力層側から入力層側へ順に各パラメータの勾配を効率よく求める方法である。

肢2が正解です。Deep Learning（Goodfellowら）の6.5節は、誤差逆伝播法（Rumelhartら、1986）を、コストの情報をネットワークの後ろ向きに流して勾配を計算する方法とし、連鎖律を効率のよい順序で計算するアルゴリズムだと説明しています。肢1は順伝播の説明です。肢3は不適切で、同節は誤差逆伝播法は勾配を計算する方法だけを指し、その勾配を使って学習するのは確率的勾配降下法などの別のアルゴリズムだと述べています。肢4は不適切で、誤差を増幅する仕組みはなく、深いネットワークでは勾配が小さくなりすぎる（または大きくなりすぎる）問題がかえって起こり得ます。「逆伝播 = 学習アルゴリズム全体」と取り違えやすい点に注意しましょう。

関連キーワード: 連鎖律・誤差逆伝播法・勾配消失問題・勾配爆発問題