G検定(ジェネラリスト検定) ディープラーニングの概要 練習問題 第44問: パラメータ w を持つ回帰モデルの学習で、平均二乗誤差関数を最小化することと最尤推定との関係に関する説明として、最も適切なものはどれか。
パラメータ w を持つ回帰モデルの学習で、平均二乗誤差関数を最小化することと最尤推定との関係に関する説明として、最も適切なものはどれか。
解答と解説を先に見る
先に見ると、この問題は今回は育ちません。
正解: 4. 出力 y が、予測値を平均とし分散が一定の正規分布に従うとみなすと、平均二乗誤差の最小化と最尤推定は同じ w を与える。
「予測値を平均とし分散が一定の正規分布に従うとみなすと」、平均二乗誤差の最小化と最尤推定が同じ w を与えるとする記述が適切です。Deep Learning(Goodfellowら)の5.5.1節は、予測値を平均とし、分散を利用者が決めた定数に固定した正規分布で条件付き対数尤度を書くと、両者の値は違っても最適な w の位置は同じになり、平均二乗誤差の使用を最尤推定として正当化できると述べています。
「ベルヌーイ分布」は2値の出力の分布で、シグモイド出力と交差エントロピーの組合せに当たります。「最尤推定の考え方からは正当化できない」は同節の結論の逆です。
「分散を入力ごとに変わる値として学習する必要がある」は、分散を一定にした前提の逆です。平均二乗誤差は正規分布、2値の交差エントロピーはベルヌーイ分布に対応する、と対で押さえましょう。
関連キーワード: 平均二乗誤差関数・最尤推定・誤差関数・正規分布
模試 (145問)
本試験の規模にそろえて、8分野を通して解く
オンライン試験の案内(145問程度・100分)にそろえた145問・100分(1つあたり約41秒)で、技術分野から法律・倫理まで8分野を混ぜて解きます。JDLAは分野ごとの出題数と合格ラインを公表していないため、配分と70%の目安はぴよパスの設定です。100分を取れない日は、開始画面で41分の短縮演習も選べます。Premium (月980円)Premium (ご利用中)時間制限つきの実力チェック