G検定（ジェネラリスト検定） 機械学習の概要 練習問題 第6問: アンサンブル学習のバギングとブースティングに関する説明として、最も不適切なものはどれか。

正解: 3. バギングは木の数を増やしすぎると過学習するので木の数を交差検証で選ぶ必要があり、ブースティングは木の数を増やしても過学習は起こらない

肢3が不適切です。An Introduction to Statistical Learning（James ほか）第8章は、バギングでは木の数を大きくしても過学習にはつながらない一方、ブースティングは木の数が多すぎると過学習し得るため、木の数を交差検証で選ぶと説明しています。肢3はこの性質を逆にしています。肢1は正しく、ブートストラップ標本ごとの予測を平均すると分散が下がります。肢2も正しく、ブースティングは前の木の結果（残差など）を使って順に木を作ります。肢4も正しく、The Elements of Statistical Learning（Hastie ほか）10.10節の勾配ブースティングは損失の負の勾配に木を当てはめ、二乗誤差ではそれが通常の残差になります。「並列で独立」がバギング、「逐次で依存」がブースティングと整理すると取り違えにくくなります。

関連キーワード: バギング・ブースティング・勾配ブースティング・アンサンブル学習