データ分析関連のまとめ

データ分析・機械学習周りのもくもく会LTやイベント参加をまとめていきます

重回帰の回帰係数の一般解を期待値から導出する(備忘)

技術キャッチアップ

因果推論の学習中に重回帰分析における回帰係数の一般解の導出を行ったので、備忘としてまとめます。

  • 2つの観測値XとYによりZを予測する問題を考えると、重回帰は以下のように書ける。
 Z = \alpha + {\beta}_YY + {\beta}_XX + \epsilon 
 \epsilon :誤差項

上記式の期待値と、式をX倍およびY倍し期待値を取った3つの方程式より導出する。

 E[Z] = \alpha + {\beta}_YE[Y] + {\beta}_XE[X] \ \ \ \ \ (1)
 (E[\epsilon] =0) 
 E[XZ] = {\alpha}E[X] + {\beta}_YE[XY] + {\beta}_XE[X^2] \ \ \ \ \ (2)
 E[YZ] = {\alpha}E[Y] + {\beta}_YE[Y^2] + {\beta}_XE[XY] \ \ \ \ \ \  (3)

 (1) にE[X]をかける
E[X]E[Z] = {\alpha}E[X] + {\beta}_YE[X]E[Y] + {\beta}_XE[X]^2 \ \ \ \ \ \  (1)'
 (2) から (1)を引く
 E[XZ] - E[X]E[Z] = {\beta}_YE[XY] + {\beta}_XE[X^2] - {\beta}_YE[X]E[Y] - {\beta}_XE[X]^2={\beta}_Y(E[XY] - E[X]E[Y])+{\beta}_X(E[X^2] - E[X]^2)

 分散の定義から
 {\sigma}_{XZ} = {\beta}_Y{\sigma}_{XY} + {\beta}_Y{\sigma}_X^2 \ \ \ \ \ (4)

 同様に(3) -(1)から以下の式が得られる
 {\sigma}_{YZ} = {\beta}_X{\sigma}_{XY} + {\beta}_Y{\sigma}_Y^2 \ \ \ \ \ (5)

 (5)を式変形
 {\beta}_Y = \frac{{\sigma}_{YZ} - {\beta}_X{\sigma}_{XY}}{{\sigma}_Y^2} \ \ \ \ \ (6)

 (6)を(4)に代入
 {\sigma}_{XZ} = \frac{{\sigma}_{YZ} - {\beta}_X{\sigma}_{XY}}{{\sigma}_Y^2}{\sigma}_{XY} + {\beta}_Y{\sigma}_X^2

 変形させると
 \displaystyle{
{\beta}_X = \frac
{{\sigma}_{XZ}{\sigma}_Y^2 - {\sigma}_{YZ}{\sigma}_{XY}}
 {{\sigma}_X^2{\sigma}_Y^2- {\sigma}_{XY}^2 }
}

{\beta}_Yも同様の手順で導出できる

参考文献

入門　統計的因果推論

https://www.asakura.co.jp/books/isbn/978-4-254-12241-1/