G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第43問: 勾配ブースティングで、各回に加える弱学習器の寄与に定数ν（学習率）を掛けて小さくする縮小（shrinkage）と、各回に訓練データの一部を使って学習する部分標本

正解: 2. 学習率を小さくすると要る弱学習器の数は増えるが、テスト誤差はよくなりやすい

「学習率を小さくすると要る弱学習器の数は増えるが、テスト誤差はよくなりやすい」が適切です。scikit-learnのユーザーガイド1.11.1.2.5節は、学習率を小さくすると同じ訓練誤差を保つのにより多くの弱学習器が要ること、経験的には小さい学習率のほうがテスト誤差がよくなりやすいことを述べています。「要る弱学習器の数が減り」は向きが逆です。「復元抽出した標本で学習する」は誤りで、続く1.11.1.2.6節は、確率的勾配ブースティングでは各回に訓練データの一部を非復元抽出で取り出して学習すると説明しています。「単独で使うほうが精度が上がり」も誤りで、同節の図の説明では、縮小と組み合わせた部分標本化はさらに精度を上げ、縮小なしの部分標本化は成績が悪いとされています。学習率と弱学習器の数は強く関わり合うので、組にして選ぶと押さえましょう。

関連キーワード: 勾配ブースティング・ブースティング・アンサンブル学習