G検定（ジェネラリスト検定） ディープラーニングの概要 練習問題 第21問: 次の文の空所（　）に入る語句として、最も適切なものはどれか。 ノーフリーランチの定理は、（　）について平均すると、訓練データに含まれない点を分類するときの誤り率

正解: 4. 起こり得るあらゆるデータ生成分布

肢4が正解です。Deep Learning（Goodfellowら）の5.2.1節は、Wolpert（1996）のノーフリーランチの定理を、起こり得るすべてのデータ生成分布について平均すると、どの分類アルゴリズムも未観測の点を分類するときの誤り率が同じになる、と紹介しています。同節は、この結果は全分布で平均したときに限って成り立ち、現実に出会う分布について仮定を置けば、その分布でよく働く手法を設計できると述べています。肢1のようにモデルの予測を平均するのはアンサンブル（モデル平均）の考え方で、定理が平均を取る対象ではありません。肢2は訓練データの件数を変えた場合の平均で、データ生成分布についての平均ではありません。肢3はハイパーパラメータの値についての平均で、これも定理の平均の対象とは別物です。平均の取り方が定理の前提である点に注意しましょう。

関連キーワード: ノーフリーランチの定理・汎化・データ生成分布