G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第25問: 線形モデルの重み w_j に罰則 λΣ_j |w_j|^q を加える正則化のうち、q = 0 に当たるL0正則化に関する説明として、最も不適切なものはどれか。

肢2が不適切です。The Elements of Statistical Learning（Hastieら）の3.4.3節は、罰則 Σ|β_j|^q のうち q = 0 は0でないパラメータの個数を数えるだけなので変数の部分集合選択に当たり（肢1・肢3）、q = 1（ラッソ）は制約の領域が凸になる最小の q で、凸でない制約の領域は最適化の問題を難しくすると述べています（肢4）。

L0正則化の罰則は、重みが0から少しでも離れると1増える階段状の関数で、なめらかでも凸でもなく、勾配（0以外の点では0）から重みを動かす向きが分かりません。同書3.3.1節の最良部分集合選択も、効率のよい探索法を使って変数が30〜40個程度まで実行できるとされる組合せの探索です。

L1正則化がL0正則化の代わりに使われる理由を、凸であることと結び付けて押さえましょう。