G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第35問: 学習の途中で訓練誤差と検証誤差を見て、未学習（アンダーフィッティング）と過学習を見分けて対処するときの説明として、最も不適切なものはどれか。

正解: 1. 訓練誤差も検証誤差も大きいままのときは過学習と考え、正則化を強めて表現力をさらに抑える

肢1が不適切です。Deep Learning（Goodfellow ほか）5.2節は、未学習を訓練データで十分に小さい誤差が得られない状態、過学習を訓練誤差とテスト誤差の差が大きすぎる状態とし、モデルの容量（表現力）を変えることでどちらが起こりやすいかを調整できると説明しています。訓練誤差も検証誤差も大きいのは未学習の状態で、表現力をさらに抑えると悪化しやすくなります。 肢2は正しく、容量の低いモデルは訓練データに当てはめることに苦労します。肢3も正しく、重み減衰などの正則化は、訓練誤差ではなく汎化誤差を下げるための工夫です。肢4も正しく、同節は、容量が最適でも差が大きいときは訓練データを増やして差を縮められることがあると述べています。見分けの出発点は、訓練誤差が十分に小さいかどうかです。

関連キーワード: 未学習・過学習・汎化性能・正則化