ベクトルを使って単回帰分析を理解しよう！

今日は単回帰分析を、ベクトルの考え方を使って理解する方法を解説します。

あの、なんだろう、急に意味不明なこと言うのやめてもらっていいっすか？

最初は意味が分からないと思うけど、慣れると単回帰分析や、その応用の重回帰分析、因子分析を直感的に理解できるようになるよ。

Aさん、Bさん、Cさんの点数を偏差に変換すると、どうなるかな？

10、0、-10っすね。

ここで、3人の点数のデータは(10, 0, -10)というベクトルで表すことができるよ。

ちょっと何言ってるのか分かんないっすね。

まずはベクトルの復習をしよう。ベクトルは「向き」と「大きさ」の2つをもつものだったね。

そんなことを高校でならった気がするね。

では2つ問題を出そう。
① (1,2,3)というベクトルを、大きさはそのままにして向きを反対にするとどうなる？
② (1,2,3)というベクトルを、向きはそのままにして大きさを2倍にするとどうなる？

向きを反対にすると(-1, -2, -3)で、大きさを2倍にすると(2,4,6)かな？

そうだね。

3人のテストの点数をベクトルに変換した(10, 0, -10)にも当然向きと大きさがある。問題は、それが何を表しているかだね。

何を表しているの？

向きは「傾向」、大きさは「傾向の強さ」だと考えればいいよ。

ほ、ほう…

例えば、このベクトルの大きさはそのままに、向きを反対にするとどうなるかな？

(-10, 0, 10)だね。

つまりAさん、Bさん、Cさんの点数の偏差が順に-10, 0, 10になったことになる。傾向がちょうど逆転したのが分かるかな？

次は向きはそのままに、(10, 0, -10)の大きさを2倍にするとどうなるかを考えてみよう。

(20, 0, -20)だね。

つまりAさん、Bさん、Cさんの点数の偏差が順に20, 0, -20になったわけだね。傾向がより強くなったのが分かるよね。

では、今度は単回帰分析をベクトルで表現してみよう。

まず、\( \hat{y} \)はxと同じ、または反対の向きになる。

なんで？

単回帰分析では、「xの値が大きいほどyの値も大きい」、または「xの値が大きいほどyの値は小さい」という予測をするからだよ。だから、予測値のベクトルである\( \hat{y} \)はxのベクトルと向きが同じか反対になるよ。

ほーん

次に誤差のベクトルeについて。誤差はy – \( \hat{y} \)で求められるから、\( \hat{y} \)の終点とyの終点をつないで図のようになるね。

誤差も偏差に変換してあるの？

誤差は偏差に変換していないよ。

それから、yベクトルを\( \hat{y} \)とeベクトルに分解できる点にも注意しよう。これはつまり、yベクトルを「xで予測できた部分」と「xで予測できなかった部分」に分解しているといえるよ。

ここで、eベクトルは誤差なんだから小さいほうが良いよね。eベクトルの大きさを最小化するとき、\( \hat{y} \)ベクトルとeベクトルのなす角度はどうなるかな？

えっと、、、直角かな？

そうだね。だから、\( \hat{y} \)とeが直角になるようなときに\( \hat{y} \)は最適になるよ。

単回帰分析がベクトルで表せるのは分かったけど、なんでわざわざこんな変な方法を使う必要があるの？

たしかに、単回帰分析ならベクトルを使わない方法でも簡単に理解できるね。でも、もっと発展的な内容である重回帰分析や因子分析、さらには偏回帰分析などを理解するにあたっては、このベクトルの考え方を使ったほうが理解しやすいんだ。だから、最初はとっつきにくくても、ベクトルを使った考え方に慣れておくことをおすすめするよ。