合計の分布と平均の分布

tags: `probability-theory`

四則演算による変換の分布

X

を確率分布

F

に従う確率変数とする。この分布が確率密度関数

f (x)

を持つとき

Y = X + a \sim f (y - a)

Y = X - a \sim f (y + a)

Y = a X \sim \frac{1}{a} f (\frac{y}{a})

Y = \frac{X}{a} \sim a f (a y)

となる。標本空間が有界の場合は、標本空間も対応する変換を受ける。

合計の分布

確率変数列

X_{1}, X_{2}, \dots, X_{n}, \dots

を、互いに独立に同一の確率分布

F

に関する試行の列とする。最初の

n

個の合計を

S_{n} = X_{1} + X_{2} + \dots X_{n} = \sum_{i = 1}^{n} X_{i}

と記す。確率分布

F

のモーメント母関数を

M_{X}

と記すと、

S

が従う確率分布のモーメント母関数は

M_{S} (t) = {M_{X} (t)}^{n}

となる。

平均の分布

さて、

M_{X} (t)

の

t = 0

の周りでのテイラー展開が

M_{X} (t) = 1 + E [X] t + \frac{E [X^{2}]}{2!} t^{2} + \frac{E [X^{3}]}{3!} t^{3} +

であった。

X

の期待値

μ

からの偏差

D = X - μ

のモーメント母関数には、

\begin{aligned} M_{D} (t) & = 1 + E [(X - μ)] t + \frac{E [{(X - μ)}^{2}]}{2!} t^{2} + \frac{E [{(X - μ)}^{3}]}{3!} t^{3} + \\ = 1 + \frac{E [{(X - μ)}^{2}]}{2!} t^{2} + \frac{E [{(X - μ)}^{3}]}{3!} t^{3} + \end{aligned}

のように中心モーメントが現れる上に、

t

の一次の項が消える。次に

D

を

1 / n

した

D / n

が従う確率分布のモーメント母関数が

M_{D / n} (t) = 1 + \frac{E [{(X - μ)}^{2} / n^{2}]}{2!} t^{2} + \frac{E [{(X - μ)}^{3} / n^{3}]}{3!} t^{3} +

となることから、

D_{1}, \dots, D_{n}

の平均

{\overset{―}{D}}_{n}

が従う確率分布のモーメント母関数は、

\begin{aligned} M_{{\overset{―}{D}}_{n}} (t) & = {1 + \frac{E [{(X - μ)}^{2} / n^{2}]}{2!} t^{2} + \frac{E [{(X - μ)}^{3} / n^{3}]}{3!} t^{3} + \dots +}^{n} \\ = 1 + O (\frac{1}{n}) \end{aligned}

となり、

n \to \infty

で確率分布が縮退しまうことが分かる。

ところで

S - n μ

を

n

ではなく、

\sqrt{n}

で割ると

\begin{aligned} M_{(S - n μ) / \sqrt{n}} (t) & = {1 + E [\frac{X - μ}{\sqrt{n}}] t + \frac{E [{(X - μ)}^{2} / n]}{2!} t^{2} + \frac{E [{(X - μ)}^{3} / n^{3 / 2}]}{3!} t^{3} + \dots +}^{n} \\ = {1 + \frac{E [{(X - μ)}^{2} / n]}{2!} t^{2} + o (\frac{1}{n})}^{n} \\ = {1 + \frac{E [{(X - μ)}^{2} / n]}{2!} t^{2}}^{n} + n o (\frac{1}{n}) \end{aligned}

となる。ここで

n \to \infty

の極限を求めると

lim_{n \to \infty} {1 + \frac{E [{(X - μ)}^{2} / n]}{2!} t^{2}}^{n} + n o (\frac{1}{n}) = e^{μ_{2} t^{2} / 2}

となる。これが平均と期待値の差を

\sqrt{n}

で割った分布のモーメント母関数の極限である。