---
title: Chi-Square 分佈 和 Normal 分佈|第九、十週
tags: 機率
---

# Chi-Square

是 Gamma 的一個 Special case，當：

$$
\theta=2,\alpha=\frac{r}{2}
$$

其中 $r$ 這個東西叫做自由度，整體上叫做「r degrees of freedom」

並且會用特殊的符號紀錄：

$$
X = \chi^{2}(r)
$$

所以代入上週 Gamma 的 PDF 和 MGF 會得到：

$$
P(W=w)=\frac{1}{\Gamma(\frac{r}{2})2 ^{\frac{r}{2}}}w^{\frac{r}{2} -1}e^{-\frac{w}{2}}
$$

$$
M(t)=\frac{1}{(1-2t)^{\frac{r}{2}}}
$$

$$
\mu = \frac{r}{2}2=r\\
\sigma^{2}=\frac{r}{2}2^{2}=2r
$$

---

# Normal

大名鼎鼎的常態分佈，參數為期望值跟變異數，記為
$$
N(\mu,\sigma^{2})
$$

## PDF

$$
P(X=x)=f_{X}(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^{2}}
$$

## MGF

$$
M(t)=\int_{-\infty}^{\infty} e^{tx}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu }{\sigma } )^{2}}dx\\
=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}e^{tx-\frac{1}{2\sigma^{2}}(x^{2}-2x\mu +\mu^{2})}dx\\
$$

其中積分可以表示為：

$$
\int_{-\infty}^{\infty}e^{\frac{1}{2\sigma^{2}}(-(x-(\sigma^{2}t+\mu))^{2}+(\sigma^{2}t+\mu)^{2}-\mu^{2})}dx\\
=\int_{-\infty}^{\infty}e^{\frac{-1}{2\sigma^{2}}(x-(\sigma^{2}t+\mu))^{2}+\frac{1}{2\sigma^{2}}((\sigma^{2}t+\mu)^{2}-\mu^{2})}dx\\
=e^{\frac{1}{2\sigma^{2}}((\sigma^{2}t+\mu)^{2}-\mu^{2})}\int_{-\infty}^{\infty}e^{\frac{-1}{2\sigma^{2}}(x-(\sigma^{2}t+\mu))^{2}}dx
$$

合併起來就是：

$$
\frac{e^{\frac{1}{2\sigma^{2}}((\sigma^{2}t+\mu)^{2}-\mu^{2})}}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}e^{\frac{-1}{2\sigma^{2}}(x-(\sigma^{2}t+\mu))^{2}}\\
=\frac{e^{\frac{1}{2\sigma^{2}}((\sigma^{2}t+\mu)^{2}-\mu^{2})}}{\sqrt{2\pi}\sigma}×\sqrt{2\sigma^{2}\pi}\\
=exp(\frac{1}{2\sigma^{2}}((\sigma^{2}t+\mu)^{2}-\mu^{2}))\\
=exp(\frac{1}{2\sigma^{2}}(\sigma^{4}t^{2}+\mu^{2}+2\sigma^{2}t\mu-\mu^{2}))\\
=exp(\frac{1}{2}\sigma^{2}t^{2}+t\mu)
$$

## Standard Normal

這是期望值為 0 且變異數為 1 的一個特殊情形

$$
N(0,1)\\
f_{X}(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^{2}}
$$

那麼這可以怎麼得到呢？藉由將一般的常態分布進行「線性轉換 Linear Transformation」

也就是說假如我原本有一個常態分佈的隨機變數 $X$，那麼令另一個隨機變數 $Y$ 為：

$$
X\sim N(\mu,\sigma^{2})\\
Y=\frac{x-\mu}{\sigma}
$$

藉由之前的公式可以知道
- 期望值也是線性操作子
- 係數差 $\alpha$ 倍則變異數差 $\alpha ^{2}$ 倍

所以可以知道：

$$
\mu_{Y} = \frac{\mu - \mu}{\sigma} = 0\\
\sigma_{Y} = \sigma^{2}\frac{1}{\sigma^{2}} = 1\\
Y\sim N(0,1)
$$

## 標準常態分佈的 MGF

$$
M(t)=e^{\frac{1}{2}t^{2}}
$$

## Special Case 2 Chi Square

這是另一個有趣的特例

$$
X\sim N(\mu,\sigma^{2})\\
V=\frac{(x-\mu)^{2}}{\sigma^{2}}=\chi^{2}(1)
$$

仔細一看其實不難發現，他就是把標準常態分佈再給他平方，所以我們另一個新的隨機變數：

$$
Z=X^{2}
$$

那麼要怎麼找這個隨機變數的 CDF 呢？不如我們把 X 帶回去：

$$
F_{Z}(z) = Prob(Z\le z)=Prob(X^{2}\le z)=Prob(-\sqrt{z} \le X\le \sqrt{z})\\
\Rightarrow \int_{-\sqrt{z}}^{\sqrt{z}}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^{2}}=2\int_{0}^{\sqrt{z}}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^{2}}
$$

於是我們就找到了他的 CDF，那麼接下來換找 PDF

$$
\frac{d}{dz} \sqrt{\frac{2}{\pi}}\int_{0}^{\sqrt{z}}e^{-\frac{1}{2}x^{2}}=\sqrt{\frac{2}{\pi}}e^{-\frac{1}{2}z}\frac{1}{2\sqrt{z}}\\
=\frac{1}{\sqrt{2\pi}}z^{-\frac{1}{2}}e^{-\frac{1}{2}z}
$$

這時候對照一下 $\chi(1)$：

$$
\chi(1)=\frac{1}{\Gamma(\frac{1}{2})2^{\frac{1}{2}}}x^{\frac{1}{2}-1}e^{-\frac{x}{2}}=\frac{1}{\Gamma(\frac{1}{2})\sqrt{2}}x^{-\frac{1}{2}}e^{-\frac{1}{2}x}
$$

有沒有發覺這兩個根本一樣，但是就差 $\Gamma(\frac{1}{2})$ 的地方了

這時候有兩個方法可以說明 $\Gamma(\frac{1}{2})=\sqrt{\pi}$

### 方法一

使用 PDF 積分到全部範圍要等於 1 的特性，再搭配變數變換，將原本的 PDF 換一下：

$$
x=\frac{z}{2},2dx=dz\\
\int_{0}^{\infty}\frac{1}{\sqrt{2\pi}}z^{-\frac{1}{2}}e^{-\frac{1}{2}z}dz=\int_{0}^{\infty}\frac{1}{\sqrt{2\pi}}(2x)^{-\frac{1}{2}}e^{-x}2dx=\frac{1}{\sqrt{\pi}}\int_{0}^{\infty}x^{\frac{1}{2}-1}e^{-x}dx
$$

其中，根據 Gamma 函數：

$$
\Gamma(t)=\int_{0}^{\infty} x^{t-1}e^{-x}dx\\
=\Gamma(\frac{1}{2})=\int_{0}^{\infty} x^{\frac{1}{2}-1}e^{-x}dx
$$
所以把上下兩個結果合併，我們會發現：

$$
\frac{1}{\sqrt{\pi}}\int_{0}^{\infty}x^{\frac{1}{2}-1}e^{-x}dx = \frac{1}{\sqrt{\pi}}\Gamma(\frac{1}{2})=1\\
\Rightarrow \Gamma(\frac{1}{2}) = \sqrt{\pi}
$$

### 方法二 直接積

其實我們也可以直接從 Gamma 函數的定義直接積分

$$
\Gamma(\frac{1}{2})=\int_{0}^{\infty} x^{\frac{1}{2}-1}e^{-x}dx=\int_{0}^{\infty} x^{-\frac{1}{2}}e^{-x}dx
$$

進行變數變換 ：

$$
x = t^{2},dx = 2tdt\\
\int_{0}^{\infty} t^{-1}e^{-t^{2}}2tdt=2\int_{0}^{\infty}e^{-t^{2}}dt=2\frac{\sqrt{\pi}}{2}=\sqrt{\pi}
$$