今回の記事は分散です。期待値と同じくらい重要ですので、頑張っていきましょう。

分散とは

それぞれのデータと期待値との差を2乗したものの平均のこと。

分散の求め方：離散型

ここでは、分散の求め方を見てみます。以降 $\mu$ が出てきますが、 $E[X] = \mu$ のことです。以降も同じ意味で出てきます。
f:id:kurasher:20200620110037p:plain

分散の求め方：連続型

f:id:kurasher:20200620110054p:plain

分散の求め方：共通

上記2つの式は分散を求める式です。しかし、何かの式と似ていませんか？前回の期待値を求める式と見比べてみましょう。

離散型の期待値を求める式↓
f:id:kurasher:20200620110356p:plain

連続型の期待値を求める式↓
f:id:kurasher:20200620110423p:plain

どうやら、期待値で $x$ を掛けていた部分が、分散では $(x - \mu) ^2$ を掛けているようです。となると、 $V[X]$ は次のようにも書けますね。

$V[X] = E[(X - \mu) ^2]$

( $E[X] = \mu$ のため、 $V[X] = E[(X - E[X]) ^2]$ とも書けます。どちらを使うかはお好みです。)

この式は、離散型の分布でも連続型の分布でも成り立ちます。

ついでですので、上の式を展開してみましょう。

$V[X] = E[(X - \mu) ^2]$

$= E[X ^2 - 2 X \mu + \mu ^2]$

ここで、期待値の性質2の $E[X + C] = E[X] + C$ と期待値の性質4 の $E[X + Y] = E[X] + E[Y]$ を使うと、

与式 $= E[X ^2] - E[ 2 X \mu] +E[\mu ^2]$

とできます。さらに、 $X$ は変数ですが、 $\mu$ は期待値を表すため定数です(もちろん $2$ も定数)。ということは、期待値の性質1の $E[C] = C$ が使えます。ついでなので、期待値の性質3の $E[k X] = kE[X]$ も使うと、

与式 $= E[X ^2 ] - 2 \mu E[X] + \mu ^2$

とできます。ここで、 $E[X] = \mu$ と定義していましたので、

与式 $= E[X ^2 ] - 2 \mu \times \mu + \mu ^2$

$= E[X ^2 ] - 2 \mu ^2 + \mu ^2$

$= E[X ^2 ] - \mu ^2$

(または、 $V[X] = E[X ^2 ] - (E[X]) ^2$ )

となります。これが分散を求める式を展開した結果です。この展開は知っておいて損はないかと思います。

※注意 $E[X ^2 ]$ と $(E[X]) ^2$ は似ているようで、全く違います。連続型の式で表すと、

$\displaystyle E[X ^2 ] = \int_{-\infty}^\infty x ^2 f(x) \,\, dx$

$\displaystyle (E[X]) ^2 = (\int_{-\infty}^\infty x f(x) \,\, dx ) ^2$

となります。気を付けましょう。

分散の性質

$V[C] = 0$
$V[ X + C ] = V[X ]$
$V[k X] = k^{2} V[X]$

$E[X] = \mu_x$ 、 $E[Y] = \mu_y$ として、
4. $V[X + Y ] = V[X] + V[Y] + 2E[(X-\mu_x)(Y-\mu_y)]$

順に見てみましょう。

性質1 $V[C] = 0$

これは何を表しているかというと、定数の分散は0ということを意味しています。

今回は平均 $\mu$ の分布で適当な定数 $C$ を考えてみます。この時の分散を計算すると、

$V[X] = V[C]$

$= E[ (C - E[C]) ^2 ]$

$= E[ (C - C) ^2 ]$

$= E[0] = 0$

となります。言ってしまえば一つの定数しか出ないのですから、分散が0より大きいことはないはずです。

性質2 $V[ X + C ] = V[X ]$

分散の定義から考えてみましょう。

$V[ X + C ] = E[ (X + C - E[X+C]) ^2 ]$

$= E[(X + C - E[X] - E[C]) ^2]$

$= E[(X + C - E[X] - C) ^2]$

$= E[(X - E[X]) ^2$

$= V[X]$

$V[ X + C ] = V[X ]$ となりましたね。

この性質2が何を言っているかというと、分散を平行移動しても変わらないということです。分散は平均からのずれを表しているので、平行移動しても変わらないのは考えてみれば当たり前ですね。

性質3 $V[k X] = k^{2} V[X]$

分散の定義式から求めます。

$V[kX] = E[ (kX - E[kX]) ^2 ]$

$= E[(kX - kE[X]) ^2]$

$= E[k ^2 (X - E[X]) ^2]$

$= k ^2E[(X - E[X]) ^2]$

$= k ^2 V[X]$

この性質は、定数倍すれば分散は定数の2乗倍されるという物です（そのまんま）。

性質4 $V[X + Y ] = V[X] + V[Y] + 2E[(X-\mu_x)(Y-\mu_y)]$

例によって、分散の定義式から。

$V[X + Y] = E[ (X+Y - E[X+Y]) ^2]$

$= E[(X-E[X] + Y - E[Y]) ^2]$

$= E[(X-E[X]) ^2 + 2(X-E[X])(Y-E[Y]) + (Y - E[Y]) ^2]$

$= E[(X-E[X]) ^2] + 2E[(X-E[X])(Y-E[Y])] + E[(Y - E[Y]) ^2]$

$= V[X] + V[Y] + 2E[(X-\mu_x)(Y-\mu_y)]$

求まりましたね。

その他の特徴

さて、性質4においては追加で重要な特徴があります。

式の最後に出てきた $E[(X-\mu_x)(Y-\mu_y)]$ ですが、これは共分散 $Cov(X, Y)$ と呼ばれます。

ちなみに、 $Y = X$ の時、

$Cov(X, Y) = E[(X - E[X])(X - E[X])] = E[(X - E[X]) ^2] = V[X]$

となります。

また、確率変数 $X$ と $Y$ が独立であるとき、

$V[X + Y] = V[X] + V[Y]$

となります。
加えて、

$V[X + Y]= V[X] + V[Y] + 2Cov(X, Y)$

$V[X - Y]= V[X] + V[Y] - 2Cov(X, Y)$

となります。ついでで覚えておきましょう。

まとめ

今回は分散の性質についてまとめました。以下、まとめです。

用語	意味
分散	それぞれのデータと期待値との差を2乗したものの平均
分散の性質1	$V[C] = 0$
分散の性質2	$V[ X + C ] = V[X ]$
分散の性質3	$V[k X] = k^{2} V[X]$
分散の性質4	$V[X + Y ] = V[X] + V[Y] + 2E[(X-\mu_x)(Y-\mu_y)]$
その他
確率変数 $X$ と $Y$ が独立	$V[X + Y] = V[X] + V[Y]$
共分散	$Cov(X, Y)= E[(X-\mu_x)(Y-\mu_y)]$
分散の性質4（共分散）	$V[X + Y ] = V[X] + V[Y] + 2Cov(X, Y)$
分散の性質4（共分散）	$V[X - Y ] = V[X] + V[Y] - 2Cov(X, Y)$