データ点 (10, 2.9)、(20, 4.0)、(30, 4.9) について2次回帰式を求め、決定係数 R の2乗を計算せよ。導出も示せ。

Step-by-step solution

1. 1

   まず最小二乗法の機構が要らないことに気づく。 2次関数には $a$、$b$、$c$ という3つの自由なパラメータがあり、データ点もちょうど3つある。$x$ の値が互いに異なる3点は放物線をただ1つに定めるので、最小二乗の当てはめはその補間放物線そのものになる。残差平方和の最小値は $0$ で、しかも実際に達成される。だからこの問題は $3\times3$ の連立1次方程式を解くだけに帰着する。

2. 2

   各点を $y=ax^2+bx+c$ に代入する。

   $100a+10b+c=2.9\qquad(1)$

   $400a+20b+c=4.0\qquad(2)$

   $900a+30b+c=4.9\qquad(3)$

3. 3

   隣り合う式を引いて $c$ を消す。 $c$ の係数は3本とも同じなので、差を取ればただちに消える：

   $(2)-(1):\quad300a+10b=1.1\;\Longrightarrow\;30a+b=0.11\qquad(A)$

   $(3)-(2):\quad500a+10b=0.9\;\Longrightarrow\;50a+b=0.09\qquad(B)$

4. 4

   もう一度差を取って $a$ を求め、順に代入し戻す。

   $(B)-(A):\quad20a=-0.02\;\Longrightarrow\;a=-0.001$

   $\text{$(A)$ より}:\;30(-0.001)+b=0.11\;\Longrightarrow\;b=0.14$

   $\text{$(1)$ より}:\;-0.1+1.4+c=2.9\;\Longrightarrow\;c=1.6$

   回帰式は

   $y=-0.001x^2+0.14x+1.6$

   である。2回の差はデータの2階階差（$10$ 刻みあたり $0.9-1.1=-0.2$）にあたり、$a$ が負になったのはこのためである。増分が縮んでいるので、曲線は下向きに曲がる。

5. 5

   当てはめ値と残差平方和を計算する。

   $\hat y(10)=-0.1+1.4+1.6=2.9,\quad \hat y(20)=-0.4+2.8+1.6=4.0,\quad \hat y(30)=-0.9+4.2+1.6=4.9$

   どの当てはめ値も観測値に一致するので、

   $SS_{\text{res}}=\sum(y_i-\hat y_i)^2=0$

6. 6

   $R^2$ を求める。分母が $0$ でないことも確認する。 $\bar y=\frac{2.9+4.0+4.9}{3}=3.9333$ なので、

   $SS_{\text{tot}}=\sum(y_i-\bar y)^2=(-1.0333)^2+(0.0667)^2+(0.9667)^2=2.0067\neq0$

   となり $R^2$ はきちんと定義され、

   $R^2=1-\frac{SS_{\text{res}}}{SS_{\text{tot}}}=1-\frac{0}{2.0067}=1$

7. 7

   結果は適度に疑って読む。 ここでの $R^2=1$ は構造上必ずそうなるだけで、2次モデルが良いという証拠ではない。どんなに散らばった3点でも、2次で当てはめれば $R^2=1$ になる。2点なら直線で $R^2=1$ になるのとまったく同じである。モデルの良し悪しを知りたければ、パラメータより多くのデータ点が必要である。$n=3$ でパラメータが $3$ 個なら残差の自由度は $0$ で、自由度調整済み $R^2$ は定義されない。