---
# System prepended metadata

title: mathstat_ch2_random variables_2.1-2.4
tags: [mathematic statistics]

---

# Introduction  
這篇主要介紹各種不同的分布  
並且都是 $1$ 個變數而已  

## random variables  
* constant (常數) : 5, 315.5  
* variable (變數) : X, age  
* random variables (隨機變數) : flavor, sample  

並且所謂的特徵 (也就是 random variable 的值) 都有可能被觀察到  

$X : \Omega \rightarrow \mathbb{R}$  
名詞解釋 :  
$\Omega$ : 觀察的物件，也就是個體樣本  
$\mathbb{R}$ : 所有可能觀察到的特徵，也就是值域  
此方程式表示它會將實數 $X(\omega)$ 分配給每個結果 $\omega \Rightarrow \omega \rightarrow X(\omega)$  

**例題-1** : 投擲硬幣 2 次  
先假設正面是 $H$ (也就是 Head)，反面是 $T$ (也就是 Tail)  
我們可以知道 $\Omega = \left\{HH,\ HT,\ TH,\ TT  \right\}$ 並且假設 $X =$ the # of $H$  
所以我們可以列出式子 :  
$X : \Omega \rightarrow \mathbb{R}$   
$\left\{HH,\ HT,\ TH,\ TT  \right\} \rightarrow \left\{0,\ 1,\ 2 \right\}$  
接下來，**列出所有可能的特徵以及每個特徵發生的機率**  
| $\omega$ | $P(\omega)$ |$x = X(\omega)$|$P(x=X)$|  
| -------- | --------    |--------       |--------|  
| $HH$ | $P(\omega)$     | $2$           |$1/4$|  
| $HT$ | $P(\omega)$     | $1$           |$1/4$|  
| $TH$ | $P(\omega)$     | $1$           |$1/4$|  
| $TT$ | $P(\omega)$     | $0$           |$1/4$|  

然後把相同的 $x = X(\omega)$ 部分合併 $\rightarrow$
![](https://hackmd.io/_uploads/Hki35_u16.png)  


# Distribution and Probability functions  
## CDF  
全名是 cumulative distribution function  
必須包含以下這 3 種特性 :  
* $F$ is non-decreasing，因為在 $F$ 中，$P$ 只會持續累積增加  
* $F$ is right-continuous，我們可以從下方例題看到 $\lim\limits_{x \rightarrow 1^+} F(x) = \cfrac{3}{4} = F(1)$  
* $F$ is normalized, means that it is defined on ($-\infty, \ \infty$), with $\lim\limits_{x \rightarrow -\infty} F(x) =0$ and $\lim\limits_{x \rightarrow \infty} F(x) =1$，這是為了在不會看到的 $x$ 上做規定  

通常會用這個方程式表示 : $F_x(x) = \mathbb{P}(X \le x),\ F_x : \mathbb{R} \rightarrow [0,1]$  
接續上面的 **例題-1** :  
\begin{array}{|c|c||c|} x & P(X = x) \\
\hline
0 & 1/4 \\  
1 & 1/2 \\  
2 & 1/4 \\  
\end{array}  
我們可以首先分成以下幾個區間 :  
(i) $x<0,\ \ \ \ \ \ \ \ \  F(x) = P(X \le x) = 0$  
(ii) $0 \le x < 1,\ F(x) = P(X \le x) = P(x = 0) = \cfrac{1}{4}$  
(iii) $1 \le x < 2,\ F(x) = P(X \le x) = P(x = 0) + P(x = 1) = \cfrac{3}{4}$  
(iv) $x \ge 2,\ \ \ \ \ \ \ \ F(x) = P(X \le x) = P(x = 0) + P(x = 1) + P(x = 2) = 1$  
然後就可以畫成函式圖 :  
![](https://hackmd.io/_uploads/S1sDNEoJ6.png)  

另外，如果 2 個 random variable 的 CDF 相同的話，可以證得 $\mathbb{P}(X \in A) = \mathbb{P}(Y \in A), \ for \ all \ A$ 也就是說 CDF 完整且充分，代表一個 random variable 的分布  

除此之外，如果 $F_X(x) = F_Y(x), \ for \ all \ x$，我們可以知道 $X$ 跟 $Y$ 的分布是相同的，並且可寫成 $X \overset{d}{=} Y$  
而且會滿足這些條件 :  
(1) 所有可能看到的值是一樣的，$\mathbb{R}_X = \mathbb{R}_Y$  
(2) 由 $X$ 和 $Y$ 看到任一種值的組合的可能性相同  

## PMF  
全名是 probability mass function  
必須包含以下這 2 種特性 :  
* $f$ is non-negative，$f(x) = P(x=X) \ge 0$  
* the values of $f$ sum to 1，$1=P(x \in X(\omega)) = P(X = x_1) + P(X = x_2)+... = \Sigma P(X = x_i) = \Sigma f(x_i)$  
	- 補充 : 對於不在 {$x(\omega)$} 中的值(s)，$f(s)=P(x=s)=0$ 但 $F(s)=P(x\le s)$ 不一定為 $0$  
	以上方的 **例題-1** 來說，$f(3) = P(x=3) = 0$，但 $F(3)=P(x \le 3) = 1$  

如果 $X$ 存在的值是可數的，則 $X$ 是離散的，並且通常 pdf 會用這個方程式表示 : $f_x(x) = \mathbb{P}(X = x)$  

$w \in \Omega \stackrel{\text{x}}{\longrightarrow} s= \left\{ x = x(w) \right\}$ 代表 $s$ is interval (也就是不可數)  
:::warning  
補充小重點-pmf : $P(X = x) = 0$ 無法區別可能性的大小  
:::  

## PDF  
全名是 probability density function  
是 pmf 的近似  
![](https://hackmd.io/_uploads/SJz8ruhya.png)  
從圖中我們可以看到當 $x$ 的寬度越切越細，會越來越接近我們常看到的分布曲線，先用 $y=g(x)$ 來表示此函數  

用數學式來表達會像這樣 : $P(-1 < x <1) = \cfrac{深色個數}{全部個數} = \cfrac{深色個數 \cdot bar\ width}{全部個數 \cdot bar\ width} = \cfrac{\int^{1}_{-1}g(x)dx}{\int^{\infty}_{-\infty}g(x)dx \overset{令}{=} k} \overset{令\ f = g/k}{=} \int^{1}_{-1}\cfrac{1}{k}g(x)dx = \int^{1}_{-1} f(x)dx$  
最後會得到 : $\int^{\infty}_{-\infty}f(x)dx = \int^{\infty}_{-\infty} \cfrac{1}{k}g(x)dx = 1$  

:::warning  
**重要補充** : pdf 不會得出機率，是在這塊 pdf 區域下的機率才會得出機率  
以數學式表達就是 : $P(x-\delta < x< x+\delta) = \int^{x+\delta}_{x-\delta}f(x)dx = 2 \cdot \delta \cdot f(x) \Rightarrow f(x) = \cfrac{P(x-\delta < x< x+\delta)}{2 \delta}$  
$\delta = 切出來的寬度$  
:::  

:::danger  
**pdf-pmf 比較**  
* pdf :  
	- non-negative $\Rightarrow f(x_i) \ge 0$  
	- integrates to 1 $\Rightarrow g \rightarrow f \Rightarrow \int^{\infty}_{-\infty}f(x)dx = 1$  
* pmf :  
	- non-negative $\Rightarrow f(x_i) \ge 0$  
	- sums to 1 $\Rightarrow \Sigma_{i}f(x_i) = 1$  
:::  

:::warning  
**重要補充** : cdf (F(x)) 是 pdf (f(x)) 的積分  
當 X 是連續(continuous)並且 $F_x$ 可微(differentiable)，則 cdf 是 pdf 的積分  
以數學式表達就是 : $P(-\infty < x \le x) = \int^{x}_{-\infty}f(x)dx=F(x)$  
:::  

:::success
**簡單小補充** :  
1. $P(x < X < y) = F(y) - F(x)$  
2. $P(X > x) = 1 - F(x)$  
3. 當 X 是連續(continuous)的，那這就會成立 :
$F(b)-F(a) = P(a < x < b) = P(a \le x < b) = P(a < x \le b) = P(a \le x\le b)$  
:::

# Some Important Discrete Random Variables  
![](https://hackmd.io/_uploads/H1sdBF216.png)  
$f(x) = \cfrac{e^{\beta_0 + \beta_1 x}}{1 + e^{\beta_0 + \beta_1 x}}$  
這張圖的 fitting 可能不好，precision 可能會比較好  

* parametric  
$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ 或是 $\beta_0 + \beta_1 \sqrt{x_i} + \beta_2 x_i^2 + ... + \epsilon_i$  

* non-parametric  
$Y_i = m(x_i) + \epsilon_i$  

---
接下來介紹 2 種大方向描述 discrete random variables  
* **point mass distribution**  
**定義** : $\Omega = \left\{ \omega_1,\ \omega_2,\ ...,\ \omega_n \right\} \stackrel{\text{X}}{\longrightarrow} X(\omega_i) = \underbrace{a}_{one\ value}$  
**分佈** : $f(x) = P(X = x) =\begin{cases} 1 \ \text{if} \ x=a \\ 0 \ \text{if} \ x \neq a \end{cases}$  

* **discrete uniform distribution**  
**定義** : $\Omega = \left\{ \omega_1,\ \omega_2,\ ...,\ \omega_n \right\} \stackrel{\text{X}}{\longrightarrow} \left\{ X(\omega_1),\ X(\omega_2),\ ...,\ X(\omega_n) \right\} = \left\{ \underbrace{a_1}_{\text{小}},\ a_2,\ ...,\ \underbrace{a_n}_{\text{大}} \right\}$  
**分佈** : $f(x) = P(X = x) =\begin{cases} \cfrac{1}{k} ,\ x \in \left\{x_1,\ ...,\ x_n \right\} \\ 0 ,\ \text{otherwise} \end{cases}$  
**小補充** : $\left\{a_1,\ a_2,\ ...,\ a_n \right\} \neq 
\underbrace{\left[a_1,\ a_n \right]}_{區間}$  

這 2 種方式所呈現的共同點是機率和為 1，而差異之處在於 point mass distribution 可適用於任何 discrete random variables，但 discrete uniform distribution 是當中的一種特例，所有可能的取值都具有相等的機率  

---

接著介紹各種 discrete distribution  

## Bernoulli Distribution  
$X$ **僅**具有 $2$ 個數值而已，像是 $0,\ 1$  
$X \sim Bernoulli(p)$  

**分佈** : $f(x) = P(X = x) = \begin{cases} p \ \ \ \ \ \ \ \ \ \ \ \ , \ x=1 \\ (1-p) \ \ , \ x=0 \end{cases} \Rightarrow p^{x}(1-p)^{1-x},\ x=0,\ 1$  
**小補充** : 參數對分佈($x$值)的影響，如果 $p$ 比較大比較容易看到 $x = 1$  

例子 : 翻硬幣  
$x = \text{Head} \ / \ \text{Tail} \Rightarrow 1 \ / \ 0$  


## Binomial Distribution  
$Y$ 代表在 $n$ 個相互獨立且機率同為 $p$ 的 Bernoulli trials 所成功的次數  
$X_1,\ X_2,\ ...,\ X_n \sim Bernoulli(p)$  

**分佈** : $f(y) = P(Y = y) = C^{n}_{y} \underbrace{p ... p}_{y 個}\ \underbrace{(1-p) ... (1-p)}_{(n-y) 個} \Rightarrow C^{n}_{y} p^{y} (1-p)^{n-y},\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$  
**小補充** : 如果 $p$ 或 $n$ 比較大，就會比較容易看到 $y$ 比較大  

例子 : 投 n 次球能進幾顆(分為投中/不中)  
$X_i = \begin{cases} 1 ,\ \text{進球} \\ 0 ,\ \text{沒進} \end{cases}$ ，另外 投中/不中 不會影響到下次的投球情況 $\Leftarrow$ 獨立  
$\Rightarrow Y = \Sigma^{n}_{i=1} X_i = 投 n 球，投中的次數$  

:::warning  
大補充 :  
* $f(y) \ge 0$  
* $\Sigma^{n}_{y=0} f(y)=1$
:::  


## Negative Binomial Distribution  
$Y$ 代表在一系列相互獨立且機率同為 $p$ 的 Bernoulli trials 中，第 $r$ 次成功前的失敗次數  
$Y \sim NB(r,\ p),\ p = P(x_i = 1)$  

**分佈** : $f(y) = P(Y = y) = C^{r-1+y}_{y}\ p^r (1-p)^y,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$  
**小補充** : 如果 $p$ 比較小 或 $r$ 比較大，就會比較容易看到比較大的 $y$ 值  

例子 : 投幾次球能進 10 顆  
會預先分為 (i) 有 9 球進、y 球沒進 (ii) 第 10 球進  
(i) $C^{9+y}_{y} p ^{9} (1-p)^y \Rightarrow C^{r-1+y}_{y}\ p^{r-1} (1-p)^y$  
(ii) $p$  


:::danger  
比較--Bin/Negative Bin  
|        | Bin                     | NB                       |
|:------ |:----------------------- |:------------------------ |
| fixed  | **n**  (#trails)(*投*)  | **r**  (#success)(*進*)  |
| random | **y**            (*進*) | **y**  (#failure)        |
|        |                         | **r+y**  (#trails)(*投*) |
:::  


## Geometric Distribution  
$Y$ 代表在一系列相互獨立且機率同為 $p$ 的 Bernoulli trials 中，第 $1$ 次成功前的失敗次數  
(或者是 : $X$ 代表在第 $1$ 次成功前執行多少次 Bernoulli trials )  
$Y \sim Geo(p) = NB(r=1,\ p)$  

**分佈** : $f(y) = P(Y = y) = (1-p)^y \cdot p,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$  
**分佈(另外的定義)** : $f(y) = P(X = x) = P(Y+1 = x) = P(Y = x -1) = (1-p)^{(x-1)} \cdot p,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$  


## Poisson Distribution  
又被稱做 Counting Process  
$X_t$ 是一個整數的隨機變量，表示同一時期 $[0,\ t]$ 發生的次數  
$X \sim Poi(\lambda)$  

**分佈** : $f(x) = P(X = x) = \cfrac{(mt)^x e^{-mt}}{x!} = \cfrac{\lambda^x e^{-\lambda}}{x!},\ x \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$  
**解釋分佈的符號** :  
* $\lambda : \text{在} \Delta t \ \text{內} : \begin{cases} \text{發生 1 次的機率} \approx m \Delta t \\ ... \ge 2 \ ... \approx 0 \\ \text{沒發生} ... \approx 1 - m \Delta t \end{cases} \Rightarrow \text{平均發生的次數} \begin{cases} 0 \cdot (1 - m \Delta t) \\ 1 \cdot m \Delta t \\ \ge 2 \cdot 0 \end{cases}$ 這 3 項相加等於 $m \Delta t$  
* $mt$ : $\underbrace{P(X_t = 1)}_{[0, \ t]}$ 在 t 時間內發生 1 次的機率  

**特色**  
* $X_0 = 0$ : 在 $[0,\ 0]$ 發生的次數(歸零)  
* $\text{For}\ s < t,\ X_s \perp (X_t - X_s)$ : 下段時間發生的次數與前段時間無關  
* $X_s \stackrel{\text{d}}{=} X_{t+s} - X_t$ : 發生的次數與時間**長度**有關，與時間發生的**早晚**無關  
* $\lim\limits_{t \rightarrow 0} \cfrac{1}{t} P(X_t = 1) = m = \cfrac{P(X_t = 1)}{t} : \begin{cases} P(X_t = 1) \approx tm,\ t \rightarrow 0 : \text{在} k \Delta t \text{內發生一次的機率 P} \\ P(X_{2t} = 1) \approx 2 tm = 2P(X_t = 1) : \text{在} \Delta t \text{內發生一次的機率 P 的} k \text{倍} \end{cases} \\ \Rightarrow 所以得到發生一次的機率隨觀察時間的長度呈現線性成長$  
* $\lim\limits_{t \rightarrow 0} \cfrac{1}{t} P(X_t > 1) = 0 \Rightarrow P(X_t > 1) \approx 0$ : 在 $\Delta t$ 內幾乎不會同時發生 $2$ 次以上  

:::danger  
**重點** :  
*$m$ 在 [0, 1] 內平均發生的次數*  
*$\lambda = mt =$ 在 [0, t] 內平均發生的次數*  
次數 : $x \Delta t = \Sigma^{n}_{i = 1} x \Delta t^{i}$  
平均數 : $m \Delta t \cdot n = mt = \lambda$  
:::  

:::info  
補充-1 :  
$n$ 大且 $\Delta t$ 小  
$\Rightarrow x \Delta t^{i} \stackrel{\text{approx}}{\sim} Bernoulli(m \Delta t)$  
如果同時又符合每一個 $x \Delta t^{i}$ 都**獨立**時  
$\Rightarrow xt \stackrel{\text{approx}}{\sim} Bin(n,\ m \Delta t)$  
:::  

:::info  
補充-2 :  
假設 $x$ 在 [0, t] 內發生的次數 $\sim Poisson(\lambda)$  
那我們就可以知道在 [0, t] 內平均會發生 $\lambda$ 次  
而如果時間長度改為 [0, 3t] 時平均會發生 $3 \lambda$ 次  
$\Rightarrow Y =$ [0, 3t] 的次數，$Y \sim Poisson(3 \lambda)$  
:::  


# Some Important Continuous Random Variables  
## Uniform Distribution  
所有可能看到的值會界在 [a, b] 之間  
$X \sim Unif(a,\ b)$  

**分佈** :  
pdf : $f(x) = \begin{cases} \mu,\ a \le x \le b \\ 0 ,\ \text{otherwise}\end{cases}$  
cdf : $F(x) = P(X \le x) = \int^{x}_{a} f(t) \ dt = \cfrac{x-a}{b-a},\ a \le x \le b$  


這是 uniform distribution 的圖  

![](https://hackmd.io/_uploads/BJEoFA0e6.png)  

$P(a \le x \le b) = 1 = \int^{a}_{b} \mu \ dx = (b-a) \mu \Rightarrow \mu = \cfrac{1}{b-a}$  


## Normal Distribution  
又被稱做 gaussian distribution  
在自然界中有許多的現象都呈現常態分佈  
並且常態分佈是從中央極限定理 (CLT) 所發現的 : $\bar{X} \stackrel{\text{approx}}{\sim} Normal$  
$X \sim N(\mu,\ \sigma^2)$  

**分佈** :  
$f(x) = \cfrac{1}{\sqrt{2 \pi }\cdot \sigma} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}$  
證明 :  
:::spoiler  
證明 normal distribution 的由來 :  
![](https://hackmd.io/_uploads/HJG5UMJZT.png)  
現在我們希望可以射中中間藍色區域  
假設 $(X,\ Y) =$ 射中的 $(x,\ y)$ 座標 $\text{w/ density} \ \phi(x,\ y)$  
其中 $\phi(x,\ y)$ 滿足 :  
* $\phi$ 的大小只和 $r$(圓點距離) 有關，但和 $\theta$(方向無關)  
* $\phi(x_1, \ y_1) \ge \phi(x_2,\ y_2) \ \text{if}\ r_1 \le r_2$  
* 射到 $x$ 的座標和 $y$ 的座標無關 $\Rightarrow \phi(x,\ y) = f(x)g(y)$  
* $\int^{\infty}_{-\infty}\int^{\infty}_{-\infty} \phi(x,\ y) \ dxdy = 1$  

這樣就證得 : $f(x) = \cfrac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}$  
:::  


**特色**  
* $\text{if}\ X \sim N(\mu,\ \sigma^2) \Rightarrow Z = \cfrac{(X - \mu)}{\sigma} \sim N(0,\ 1)$  
* $\text{if}\ Z \sim N(0,\ 1) \Rightarrow X = \mu + \sigma Z \sim N(\mu,\ \sigma^2)$  
* $\text{if}\ X_i \sim N(\mu_i,\ \sigma^2_i),\ i = 1 \sim n \ 且全都獨立 \Rightarrow \Sigma^n_{i=1} X_i \sim N(\Sigma^n_{i=1} \mu_i,\ \Sigma^n_{i=1} \sigma^2_i)$  


## Exponential Distribution  
$X$ 代表在事件發生第一次之前所等待的時間  
所有可能看到的值會界在 [0, $\infty$] 之間  
$X \sim Exp(\beta)$  

**分佈** :  
pdf : $f(x) = \cfrac{d}{dx} F(x) = me^{-mx} \stackrel{\beta = \frac{1}{m}}{=} \cfrac{1}{\beta}e^{-\frac{x}{\beta}},\ x \ge 0$  
cdf : $F(x) = P(X \le x) = 1 - P(X > x) = 1 - P(N_x = 0) = 1 - e^{-mx}$  
**解釋分佈的符號** :  
* $\beta$ : 等待第一次發生平均需要的時間  
* $N_x$ : 在 [0, x] 內發生的次數  
* $e^{-mx}$ : $\because f(x) = P(X = x) = \cfrac{(mt)^{x}e^{-mt}}{x!}\ \therefore f(0) = e^{-mt},\ \text{其中} x \text{是在 [0, t] 內發生的次數}$  

**特色**  
* 無記憶性(memory less) : 如果是呈現 exp 分佈，那就會遵循此條件機率 $P(X > x+y | X > x) = P(X > y)$  
證明如下 $\Rightarrow$  
	:::spoiler  
	$\because P(X > x+y | X > x) = \cfrac{P(X > x+y \ \text{and}\ X > x)}{P(X > x)} = \cfrac{P(X > x+y)}{P(X > x)}$  
	:::  

* 失效率(constant failure rate) : $r(x) = \cfrac{f(x)}{1 - F(x)}$  
證明如下 $\Rightarrow$  
	:::spoiler  
	$\begin{split}r(x) &= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} P(x \le X < x + \Delta x | X \ge x) \\ 
	&= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} \cfrac{P(X < (x+\Delta x)) - P(X < x)}{P(X \ge x)} \\ 
	&= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} \cfrac{F(x+\Delta x) - F(x)}{1 - F(x)}\\ 
	&= \lim\limits_{\Delta x \rightarrow 0} \left( \cfrac{1}{1-F(x)} \cdot \cfrac{F(x + \Delta x) - F(x)}{\Delta x}\right) = \cfrac{f(x)}{1 - F(x)}\end{split}$  
	:::  


## Gamma Distribution  
$X$ 代表在事件發生第 $\alpha$ 次之前所等待的時間  
所有可能看到的值會界在 [0, $\infty$] 之間(如果 $\alpha>1$)  
$X \sim Gamma(\alpha,\ \beta)$  

**分佈** :  
pdf : $f(x) = \cfrac{d}{dx} F(x) = \cfrac{d}{dx} \int^{mx}_{0} \cfrac{z^{\alpha -1} \cdot e^{-z}}{\alpha -1} dz = m \cdot \cfrac{(mx)^{\alpha-1}\cdot e^{-mx}}{(\alpha -1)!} \ \stackrel{\frac{1}{m} = \beta}{=} \ \cfrac{x^{\alpha-1} \cdot e^{-x/ \beta}}{\beta^{\alpha} \Gamma(\alpha)}$  
cdf : $\begin{align}
F(x) &= P(X \le x) = 1 - P(X > x) = 1 - \Sigma^{(\alpha -1)}_{k=0}\ P(N_x = k) \\
&= 1 - \left ( \Sigma^{(\alpha -1)}_{k=0}\ \cfrac{(mx)^{k}e^{-mx}}{k!} \right) \ \stackrel{\text{integration by parts}}{=} \ 1-\int^{\infty}_{mx} \cfrac{z^{\alpha-1} \cdot e^{-z}}{(\alpha-1)!}dz = \int^{mx}_{0} \cfrac{z^{\alpha-1} \cdot e^{-z}}{(\alpha-1)!}dx
\end{align}$  
**解釋分佈的符號** :  
* $N_x$ : 在 [0, x] 內發生的次數 $\sim Poi(mx)$  


**特色**  
* $Gamma(\alpha = 1,\ \beta) \sim Exp(\beta)$  
* $X_i \stackrel{i.i.d}{\sim} Exp(\beta) \Rightarrow \Sigma^{\alpha}_{i = 1}\ X_i \sim Gamma(\alpha,\ \beta)$  
* $X_i \stackrel{independent}{\sim} Gamma(\alpha_i,\ \beta) \Rightarrow \Sigma^{\alpha}_{i = 1}\ X_i \sim Gamma(\Sigma^{\alpha}_{i = 1}\ \alpha_i,\ \beta)$  

:::	danger  
$\stackrel{i.i.d}{\sim}$ : independent and identically distributed 獨立且同分布  
:::  

:::	success  
使用時機 :  
* waiting time  
* many non-negative random variables of continuous type  
:::  


## t Distribution  
參數統計量的抽樣分配  
通常用來處理小樣本數據，或母體方差未知  
所有可能看到的值會界在 $(-\infty, \infty)$ 之間  
$X \sim t(df)$  

**特色**  
* $x_i \stackrel{i.i.d}{\sim} N(\mu,\ \sigma^2)$  
* $\bar{x} \longrightarrow \mu$  
* **when Var 小** : $\cfrac{\bar{x}- \mu}{{\sigma} / \sqrt{n}} \sim N(0,\ 1)$，注意是<font color="#f00">$\sigma$</font>  
* **when Var 大** : $\cfrac{\bar{x}- \mu}{{\hat{\sigma}}/ \sqrt{n}} \nsim N(0,\ 1),\ \sim t$，注意是<font color="#f00">$\hat{\sigma}$</font>  



::: danger  
重點補充 :  
$\cfrac{\bar{x}-\mu}{\hat{\sigma}/ \sqrt{n}} = \underbrace{(\cfrac{\bar{x}-\mu}{\sigma/ \sqrt{n}})}_{N(0,\ 1)} \times \cfrac{1}{\underbrace{(\hat{\sigma}/ \sigma)}_{(n-1)\hat{\sigma}^2/ \sigma^2 \sim \chi^2(n-1)}} \sim t(n-1)$  
$t = \underbrace{\left ( \cfrac{z}{\sqrt{\chi^2(n-1) \ / \ (n-1)}}\right)}_{分子分母相互獨立} \sim t(n-1)$  
:::  

:::	success  
當 $t(1)$ 的時候就是 **cauchy distribution**  
這時候 median = 0, mode = 0  
而當 $t(\infty)$ 的時候就是 **normal distribution**  
:::  

![](https://hackmd.io/_uploads/rkEtp6iWa.png)  


## chi_square Distribution  
$\chi^2 \ \text{is} \ Gamma(\alpha = \frac{r}{2},\ \beta = 2)$  

把 $r$ 個獨立的平方標準常態分佈加總，會等於卡方分配(用 $r$ 當作自由度)  
用數學式表達 : $Y = \Sigma^{r}_{i=1} X_i^2 \sim \chi^2(r),\ \text{when}\ X_i \stackrel{i.i.d}{\sim} N(0,1)$  
舉例如下 $\Rightarrow$  
:::spoiler  
假設 $X_i \sim N(\mu,\ \sigma^2)$  
$\hat{\sigma}^2 = \Sigma^n_{i = 1} \cfrac{1}{n-1}(x_i - \bar{x})^2 \longrightarrow \sigma^2$  
$\Rightarrow \cfrac{(n-1)\hat{\sigma}^2}{\sigma^2} = \Sigma^n_{i = 1} (\cfrac{x_i - \bar{x}}{\sigma})^2 \sim \chi^2(n-1)$  
**標準化 $x_i$，跟 $N(0,\ 1) 做連結$**  
:::  















































