中小企業診断士 第1次試験 情報システム戦略とデータ活用 練習問題 第10問: 相関と回帰に関する記述として、最も適切なものはどれか。

「最小二乗法の回帰直線は、差を二乗して足すので外れ値の影響を強く受ける」が適切です。最小二乗法は、実測値と予測値の差の二乗の和（L2損失）が最も小さくなるように直線を引きます。

二乗するため大きく外れた点の差ほど何倍にも効き、直線がその点に引っ張られます（Googleの機械学習の用語集も、二乗によって外れ値の影響が増幅されるとしています）。相関係数は−1から1の値をとり、点が傾きの正の一直線上に並べば、傾きの大きさによらず1です。

傾き0.5でも相関係数は0.5ではなく1です。外れ値は全体の傾向から離れた所にあるデータのことで、誤りで生じたかどうかでは決まらず、正しく測れた値が外れ値になることもあります。

単回帰分析で目的変数のばらつきのうち説明変数で説明できる割合（決定係数）は相関係数の二乗なので、相関係数0.9なら90%ではなく81%です（Googleの機械学習の用語集も、R二乗を予測値と実測値の相関係数の二乗としています）。相関係数は直線的な関係の強さを表すので、左右対称な山の形に並ぶ点では、例えばx＝1〜5、y＝1、4、5、4、1のとき偏差の積の和が0になり、相関係数も0です。