---
# System prepended metadata

title: 補充：mgf technique
tags: [Probability, ML]

---

# 補充：mgf technique

如果我們的 random variable $Y$ 為：

:::info
\begin{equation}
Y = u(X_1,X_2,...,X_n)
\end{equation}
:::

則 $Y$ 的 expected value $E[Y]$ 可以透過去計算 $E[u(X_1,X_2,...,X_n)]$ 得來。

同樣的，如果要求 $E[e^{tY}]$，我們也可以由 $E[e^{tu(X_1,X_2,...,X_n)}]$ 求得。

先用一個簡單的例子來看看當 $Y$ 為兩個 random variable $X_1, X_2$ 的和時，如何計算 mgf：

![IMG_3F6C11C66BFA-1-2](https://hackmd.io/_uploads/rkA_lE2VC.jpg)

從上面的例子我們可以看到因為 $X_1, X_2$ 是 independent，所以在計算 $Y$ 的 mgf 時，我們算到下方式子時，可以利用 expectation 的性質，將它拆開：

\begin{equation}
E(e^{tX_1}e^{tX_2}) = E[e^{tX_1}] \times E[e^{tX_2}]
\end{equation}

也就是說：

:::warning
當 random variable $X_i$ independent 時，它們相加所成的另個 random variable $Y$ 的 mgf，可以透過每個 $X_i$ 的 mgf 相乘得來。
:::

這件事再推廣到相加各個 $X_i$ 形成 $Y$ 時有各自的係數 $a_i$ 即為下方定理：

![image](https://hackmd.io/_uploads/H1ppM4340.png)
> 證明過程和上方例子的過程很類似，推廣到多個 $X_i$ 可簡單想像；至於加上 $a_i$ 的部分，即把定義 $E([e^{tX_i}]) = M_{X_i}(t)$ 中的 $t$ 用 $a_it$ 代換即可。

下方的 Cor 為當 $X_1,...,X_n$ 的 mgf 皆相同，$h_i$ 也皆相同的情形：

![image](https://hackmd.io/_uploads/HJnVNV2NC.png)
> - (a) 為當 $a_i=1$ 時， $Y$ 的 mgf 就是每個 $X_i$ 的 mgf $M(t)$ 直接相乘（也不用代換成 $M(a_it)$），且因為 $X_i$ 的 mgf 皆相同，所以就是 $M(t)$ 乘 $n$ 次。
> - (b) 為當 $Y$ 是 <font color = "snake">mean of a random sample $\bar{X}$</font> 時
>> $\bar{X}$ 定義為所有 $X_i$ 相加取平均 $\frac{X_1+X_2+...+X_n}{n}$
>
> 如果我們把它看成 $\frac{1}{n}X_1+...+\frac{1}{n}X_n$，那麼 $\frac{1}{n}$ 就可以視為上述定理中的 $a_i$，所以當我們在把各個 $X_i$ 的 mgf 相乘時（也就是同一個 mgf 乘 $n$ 次），就變成 $M(a_it)$ 乘 $n$ 次，也就是 $[M(\frac{1}{n}t)]^n$

## 例題

![IMG_4035116361D7-1 2-2](https://hackmd.io/_uploads/r14sh424R.jpg)


# 參考資料

- Hogg,Tanis,Zimmerman_Probability and Statistical Inference, 9th ed(2015), p.187-189
> Section 5.4 the moment-generating function technique