G検定（ジェネラリスト検定） ディープラーニングの要素技術 練習問題 第12問: 画像分類のネットワークの層を増やしていったところ、ある深さを超えると訓練データに対する誤差まで大きくなった。この問題への対処として ResNet が導入したスキ

正解: 2. 数層分の変換の出力にその入力をそのまま足し合わせ、層には入力との差分 (残差) を学ばせて、深くしても学習しやすくする。

肢2が正解です。ResNet を提案した論文 (He ら, 2015) は、層を深くすると訓練誤差まで悪化する劣化 (degradation) の問題を示し、数層分の変換を入力との差分 (残差関数) として学ばせ、入力をそのまま出力に足すショートカット接続を使いました。入力をそのまま足す接続は、パラメータも計算量も増やしません。肢1は誤りで、出力を捨てる仕組みではありません。肢3は誤りで、ResNet はネットワーク全体を誤差逆伝播法でまとめて学習します。肢4は誤りで、同じ論文は、この劣化は過学習によるものではなく、層を足すと訓練誤差そのものが上がると述べています。訓練誤差が上がる点が過学習との見分け方です。

関連キーワード: スキップ結合・ResNet・残差学習・ショートカット接続