G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第28問: 勾配の L2ノルム ‖g‖ がしきい値 c 以上のときに、g に c/‖g‖ を掛けて向きを保ったまま縮める勾配クリッピング（Pascanuら）を使う。勾配 g

肢4が正解です。Pascanuらの論文のアルゴリズム1は、勾配のノルムがしきい値以上なら、勾配に しきい値 ÷ ノルム を掛けて縮めます。

‖g‖ = √(6² + 8²) = √100 = 10

10 ≥ 5 なので、倍率は 5 ÷ 10 = 0.5

クリッピング後 = 0.5 × (6, 8) = (3, 4)

縮めた後のノルムは √(3² + 4²) = 5 でしきい値に等しく、向きは元の勾配と同じです。肢1の(5, 5)は成分ごとに5で頭打ちにした値で、同論文が先行例として挙げる要素ごとのクリッピングに当たり、勾配の向きが変わります。

肢2の(0.6, 0.8)はノルムで割っただけでしきい値を掛け忘れた単位ベクトル、肢3の(0.3, 0.4)は、倍率を しきい値 ÷ ノルム ではなく しきい値 ÷ ノルムの2乗（5 ÷ 100 = 0.05）として掛けた値です。