# モーメント母関数、特性関数、キュムラント母関数
###### tags: `probability-theory`

[ここ](https://hackmd.io/@watalu/SJ9y947Q3)にも書いてある。

## モーメント母関数 $M_F\left(t\right)$

もし$e^{tX}$の期待値
$$
M_F\left(t\right)=E\left[e^{tX}\right]
$$
が$t=0$の周りで有限の値を取るなら、$t$の関数とみなした$M_F\left(t\right)$をモーメント母関数という。

様々な確率分布のモーメント母関数の例を掲げておく。


正規分布、ガンマ分布、ベルヌーイ分布などを用いて描いた。

### モーメント母関数の性質
#### 原点モーメントの母関数

モーメント母関数の名称は、この関数を$k$回微分して$t=0$と置くと、$k$次の原点モーメント$m_k$を得ることによる。
$$
m_k = \left.\frac{d}{dt} M_F\left(t\right)\right|_{t=0}
$$

#### モーメント母関数の存在条件

確率分布$F$のすべての原点モーメント
$$
m_k = E_F\left[X^k\right], k=1, 2, \ldots
$$
が発散せずに有限の値を取るとする。そして
$$
\begin{align}
E\left[e^{tX}\right]
&= E\left[\lim_{n\rightarrow\infty}\sum_{k=1}^{n}\frac{\left(tX\right)^k}{k!}\right] \notag \\
&= \lim_{n\rightarrow\infty}\sum_{k=1}^{n}E\left[\frac{X^k}{k!}t^k\right] \notag \\
&= \lim_{n\rightarrow\infty}\sum_{k=1}^{n}\frac{E\left[X^k\right]}{k!}t^k \notag \\
&= \lim_{n\rightarrow\infty}\sum_{k=0}^{n} \frac{m_k}{k!}t^k
\end{align}
$$
が$t=0$の近傍で発散しなければ、$M_F\left(t\right)$に収束する。

モーメント母関数の$t=0$付近の曲線としての様子が、確率分布のすべてのモーメントを定める。次の図は、上の図の拡大版である。


#### 原点付近の性質が確率分布を定める

二つの確率分布$F$, $G$がいずれもモーメント母関数を持ち、それらが$t=0$の近傍で等しいとする。
$$
M_F\left(t\right) = M_G\left(t\right)
$$
このとき、$F$と$G$は確率分布として等しい。

次の二つのモーメント母関数は、$-0.2\leq t\leq 0.2$の間で完全に一致する。しかし、その外側では、異なっている。


この2つのモーメント母関数は、同じ確率分布に至る。モーメント母関数から確率密度関数を得るには、
$$
f\left(x\right) = \frac{1}{2\pi}\int_{-\infty}^{\infty} M\left(t\right)e^{-tx} dt
$$
という逆変換を経る。

#### 和の分布のモーメント母関数

二つの確率分布$F$, $G$に互いに独立に従う確率変数をそれぞれ$X$, $Y$と置く。いずれもモーメント母関数$M_F\left(t\right)$, $M_G\left(t\right)$を持つとする。このとき $X+Y$ の分布$H$のモーメント母関数は、それぞれのモーメント母関数の積
$$
M_H\left(t\right) = M_F\left(t\right)M_G\left(t\right)
$$
で与えられる。

青のモーメント母関数と緑のモーメント母関数を掛けた結果のオレンジ色の曲線が、青と緑それぞれに対応する確率変数の和の分布のモーメント母関数になる。


2つの確率変数$X, Y$の和の分布を求めるには、次のように$X+Y$が同じ値の確率や確率密度を集めて作る。


$Z=X+Y$と置く。$Z$の確率分布の確率密度関数を得るには、$Z$が一定となる点の軌跡
$$
\left(x, z-x\right), x\in \mathscr{R}
$$
の上で、同時密度関数$f\left(x, y\right)$を積分する。
$$
f\left(z\right) = \int_{-\infty}^{\infty} f\left(x, z-x\right) dx
$$
離散確率変数であれば、その直線上の確率を集める。
$$
p\left(z\right) = \sum_{x=-\infty}^{\infty} p\left(x, z-x\right)
$$
これらの計算を畳み込みという。

$Z$のモーメント母関数を紐解くと、
$$
\begin{align}
M_Z\left(t\right)
& = \int_{-\infty}^{\infty} e^{tz} f_Z\left(z\right) dz \notag \\
& = \int_{-\infty}^{\infty} e^{tz} \left\{\int_{-\infty}^{\infty} f\left(x, z-x\right) dx \right\} dz \notag \\
& = \int_{-\infty}^{\infty} e^{t\left(x+y\right)} \left\{\int_{-\infty}^{\infty} f\left(x, y\right) dx \right\} dy \notag
\end{align}
$$
となる。ここで$x=x$、$y=z-x$と変数変換を行った。この変換のヤコビアンは$1$なので、省略した。更に、$X$と$Y$が互いに独立なことを思い出すと、
$$
\begin{align}
& \int_{-\infty}^{\infty} e^{t\left(x+y\right)} \left\{\int_{-\infty}^{\infty} f\left(x, y\right) dx \right\} dy \notag \\
= & \int_{-\infty}^{\infty} e^{t\left(x+y\right)} \left\{\int_{-\infty}^{\infty} f\left(x\right)f\left(y\right) dx \right\} dy \notag \\
= & \int_{-\infty}^{\infty} e^{tx} f\left(x\right)dx \int_{-\infty}^{\infty} e^{ty} f\left(y\right) dy \notag \\
= & M_X\left(t\right)M_Y\left(t\right)
\end{align}
$$
に辿り着く。

確率関数の場合も同様である。

## 特性関数 $\varphi_F\left(t\right)$

確率分布$F$に対して
$$
\varphi_F\left(t\right)=E\left[e^{itX}\right]
$$
を特性関数という。

確率分布$F$の$k$次の原点モーメント
$$
m_k = E_F\left[X^k\right]
$$
が発散せずに有限の値を取るとする。このとき、特性関数は$k$階微分可能で、$k$回微分して$i^{-k}$を掛けて$t=0$と置くと、$k$次の原点モーメント$m_k$を得る。
$$
m_k = \left.i^{-k}\frac{d}{dt} \varphi_F\left(t\right)\right|_{t=0}
$$
モーメント母関数はすべての確率分布に対して存在するとは限らないが、特性関数はすべての確率分布に対して存在する。

特性関数が与えられたとき、それが積分可能なら、累積分布関数$F\left(x\right)$は絶対連続であり、確率密度関数が
$$
f\left(x\right)=\frac{1}{2\pi}\int_{-\infty}^{\infty} e^{-itx} \varphi_F\left(t\right)dt
$$
で与えられる。

### 特性関数の性質

モーメント母関数の性質はすべて備える。

## キュムラント母関数

モーメント母関数と特性関数の対数
$$
\log M_X\left(t\right), \,\, \log \varphi_X\left(t\right)
$$
を、いずれもキュムラント母関数という。