確率変数の共分散・相関係数と独立性

証明. 期待値の線形性から\[\begin{aligned}
&\mathrm{Cov}(X,Y)=E[(X-\mu_X) (Y-\mu_Y)] \\
&=E[XY-\mu_X Y -\mu_Y X +\mu_X \mu_Y ]\\
&=E[XY]-\mu_X E[Y] -\mu_Y E[X] + \mu_X \mu_Y \\
&=E[XY]- E[X]E[Y]. \end{aligned}\]（証明終了）

証明.\begin{align}
&V[X+Y]=E[(X+Y)^2]-(E[X+Y])^2\\
&=E[X^2]+2E[XY]+E[Y^2]-(E[X]^2+2E[X]E[Y]+E[Y]^2 )\\
&=V[X]+V[Y]+2 \, \operatorname{Cov}(X,Y)
\end{align}（証明終了）

証明の準備（シュワルツの不等式）
証明にはシュワルツの不等式
\[(E[XY])^2 \leq E[X^2]E[Y^2]
\]を用いる. 等号成立条件は \(P(Y=cX)=1\) となる定数 \(c\) が存在することである. また, このとき \(c\) の値は \(\displaystyle c=\pm \sqrt{\frac{E[Y^2]}{E[X^2]}}\) となる.
（シュワルツの不等式の証明についてはこちら → 多次元確率分布とシュワルツの不等式）

定理（相関係数の性質）の証明.
\(Z_1=X-\mu_X, \, Z_2=Y-\mu_Y\) とおくと, シュワルツの不等式より, \[
\{E[Z_1 Z_2]\}^2 \leq E[Z_1^2]E[Z_2^2].
\] \(E[Z_1]=E[Z_2]=0\) より \(E[Z_1^2]=V[Z_1],\, E[Z_2^2]=V[Z_2]\) だから\[
\rho_{XY}^2=\frac{(E[Z_1 Z_2])^2}{E[Z_1^2]E[Z_2^2]} \leq 1.
\]したがって, \(|\rho_{XY}|\leq 1\).

次に等号成立条件について示す. シュワルツの不等式の等号成立条件から, \(\rho_{XY}=\pm 1\) の必要十分条件は, \begin{align}
&\frac{E[Z_1 Z_2]}{\sqrt{V[Z_1]V[Z_2]}}=\pm 1\\
&\Leftrightarrow \quad E[Z_1 Z_2]= \pm \sqrt{E[Z_1^2]E[Z_2^2]}\\
&\Leftrightarrow \quad E[Z_1Z_2]^2=E[Z_1^2]E[Z_2^2]\\
&\Leftrightarrow \quad P(Z_2 =c Z_1)=1.
\end{align}このとき, \(\displaystyle c= \pm \sqrt{\frac{E[Z_2^2]}{E[Z_1^2]}}=\pm \frac{\sigma_Y}{\sigma_X}\). 以上より定理が成り立つ.

証明.
(1) 離散型の場合, \(X, Y\) の実現値を \(x_1, x_2,\cdots, y_1, y_2,\cdots\) とすると \[
\begin{aligned} &E[XY]=\sum_{i \geq 1}\sum_{j \geq 1}x_iy_j P(X=x_i, Y=y_j) \\
&=\sum_{i \geq 1}\sum_{j \geq 1}x_iy_j P(X=x_i) P(Y=y_j)\\
&=\left( \sum_{i \geq 1}x_iP(X=x_i) \right) \left( \sum_{j \geq 1} y_jP(Y=y_j)\right) \\
&=E[X]E[Y]. \end{aligned}
\] 連続型の場合, 同時確率密度関数を \(f_{XY}(x,y)\) とし, \(X, Y\) の周辺確率密度関数をそれぞれ \(f_X(x), f_Y(y)\) とすると \[
\begin{aligned} &E[XY]=\int_{-\infty} ^{\infty} \int_{-\infty}^{\infty}xy f_{XY}(x,y) dxdy \\
&=\int_{-\infty} ^{\infty} \int_{-\infty}^{\infty} xy f_X(x) f_Y(y) dxdy\\
&=\left( \int_{-\infty}^{\infty} x f_X(x) dx \right) \left( \int_{-\infty}^{\infty} yf_Y(y) dy \right) \\
&=E[X]E[Y]. \end{aligned}
\]

(2) 期待値の線形性から1変数のときと同様に, \(V[g(X,Y)]=E[g(X,Y)^2]-(E[g(X,Y)])^2\) が一般に成り立つ. したがって, \begin{align}&V[X+Y]=E [(X+Y)^2 ]-(E[X+Y])^2\\
&=E\left[X^2\right]+2 E[X Y]+E\left[Y^2\right] \\
&\qquad -\left\{(E[X])^2+2 E[X] E[Y]+(E[Y])^2\right\}\\
&=V[X]+V[Y].\end{align}

(3) 上の定理（共分散の性質） と (1) より\begin{align}
&\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\\
&=E[X]E[Y]-E[X]E[Y]=0.
\end{align}（証明終了）