# Introduction 這篇主要介紹各種不同的分布 並且都是 $1$ 個變數而已 ## random variables * constant (常數) : 5, 315.5 * variable (變數) : X, age * random variables (隨機變數) : flavor, sample 並且所謂的特徵 (也就是 random variable 的值) 都有可能被觀察到 $X : \Omega \rightarrow \mathbb{R}$ 名詞解釋 : $\Omega$ : 觀察的物件,也就是個體樣本 $\mathbb{R}$ : 所有可能觀察到的特徵,也就是值域 此方程式表示它會將實數 $X(\omega)$ 分配給每個結果 $\omega \Rightarrow \omega \rightarrow X(\omega)$ **例題-1** : 投擲硬幣 2 次 先假設正面是 $H$ (也就是 Head),反面是 $T$ (也就是 Tail) 我們可以知道 $\Omega = \left\{HH,\ HT,\ TH,\ TT \right\}$ 並且假設 $X =$ the # of $H$ 所以我們可以列出式子 : $X : \Omega \rightarrow \mathbb{R}$ $\left\{HH,\ HT,\ TH,\ TT \right\} \rightarrow \left\{0,\ 1,\ 2 \right\}$ 接下來,**列出所有可能的特徵以及每個特徵發生的機率** | $\omega$ | $P(\omega)$ |$x = X(\omega)$|$P(x=X)$| | -------- | -------- |-------- |--------| | $HH$ | $P(\omega)$ | $2$ |$1/4$| | $HT$ | $P(\omega)$ | $1$ |$1/4$| | $TH$ | $P(\omega)$ | $1$ |$1/4$| | $TT$ | $P(\omega)$ | $0$ |$1/4$| 然後把相同的 $x = X(\omega)$ 部分合併 $\rightarrow$ ![](https://hackmd.io/_uploads/Hki35_u16.png) # Distribution and Probability functions ## CDF 全名是 cumulative distribution function 必須包含以下這 3 種特性 : * $F$ is non-decreasing,因為在 $F$ 中,$P$ 只會持續累積增加 * $F$ is right-continuous,我們可以從下方例題看到 $\lim\limits_{x \rightarrow 1^+} F(x) = \cfrac{3}{4} = F(1)$ * $F$ is normalized, means that it is defined on ($-\infty, \ \infty$), with $\lim\limits_{x \rightarrow -\infty} F(x) =0$ and $\lim\limits_{x \rightarrow \infty} F(x) =1$,這是為了在不會看到的 $x$ 上做規定 通常會用這個方程式表示 : $F_x(x) = \mathbb{P}(X \le x),\ F_x : \mathbb{R} \rightarrow [0,1]$ 接續上面的 **例題-1** : \begin{array}{|c|c||c|} x & P(X = x) \\ \hline 0 & 1/4 \\ 1 & 1/2 \\ 2 & 1/4 \\ \end{array} 我們可以首先分成以下幾個區間 : (i) $x<0,\ \ \ \ \ \ \ \ \ F(x) = P(X \le x) = 0$ (ii) $0 \le x < 1,\ F(x) = P(X \le x) = P(x = 0) = \cfrac{1}{4}$ (iii) $1 \le x < 2,\ F(x) = P(X \le x) = P(x = 0) + P(x = 1) = \cfrac{3}{4}$ (iv) $x \ge 2,\ \ \ \ \ \ \ \ F(x) = P(X \le x) = P(x = 0) + P(x = 1) + P(x = 2) = 1$ 然後就可以畫成函式圖 : ![](https://hackmd.io/_uploads/S1sDNEoJ6.png) 另外,如果 2 個 random variable 的 CDF 相同的話,可以證得 $\mathbb{P}(X \in A) = \mathbb{P}(Y \in A), \ for \ all \ A$ 也就是說 CDF 完整且充分,代表一個 random variable 的分布 除此之外,如果 $F_X(x) = F_Y(x), \ for \ all \ x$,我們可以知道 $X$ 跟 $Y$ 的分布是相同的,並且可寫成 $X \overset{d}{=} Y$ 而且會滿足這些條件 : (1) 所有可能看到的值是一樣的,$\mathbb{R}_X = \mathbb{R}_Y$ (2) 由 $X$ 和 $Y$ 看到任一種值的組合的可能性相同 ## PMF 全名是 probability mass function 必須包含以下這 2 種特性 : * $f$ is non-negative,$f(x) = P(x=X) \ge 0$ * the values of $f$ sum to 1,$1=P(x \in X(\omega)) = P(X = x_1) + P(X = x_2)+... = \Sigma P(X = x_i) = \Sigma f(x_i)$ - 補充 : 對於不在 {$x(\omega)$} 中的值(s),$f(s)=P(x=s)=0$ 但 $F(s)=P(x\le s)$ 不一定為 $0$ 以上方的 **例題-1** 來說,$f(3) = P(x=3) = 0$,但 $F(3)=P(x \le 3) = 1$ 如果 $X$ 存在的值是可數的,則 $X$ 是離散的,並且通常 pdf 會用這個方程式表示 : $f_x(x) = \mathbb{P}(X = x)$ $w \in \Omega \stackrel{\text{x}}{\longrightarrow} s= \left\{ x = x(w) \right\}$ 代表 $s$ is interval (也就是不可數) :::warning 補充小重點-pmf : $P(X = x) = 0$ 無法區別可能性的大小 ::: ## PDF 全名是 probability density function 是 pmf 的近似 ![](https://hackmd.io/_uploads/SJz8ruhya.png) 從圖中我們可以看到當 $x$ 的寬度越切越細,會越來越接近我們常看到的分布曲線,先用 $y=g(x)$ 來表示此函數 用數學式來表達會像這樣 : $P(-1 < x <1) = \cfrac{深色個數}{全部個數} = \cfrac{深色個數 \cdot bar\ width}{全部個數 \cdot bar\ width} = \cfrac{\int^{1}_{-1}g(x)dx}{\int^{\infty}_{-\infty}g(x)dx \overset{令}{=} k} \overset{令\ f = g/k}{=} \int^{1}_{-1}\cfrac{1}{k}g(x)dx = \int^{1}_{-1} f(x)dx$ 最後會得到 : $\int^{\infty}_{-\infty}f(x)dx = \int^{\infty}_{-\infty} \cfrac{1}{k}g(x)dx = 1$ :::warning **重要補充** : pdf 不會得出機率,是在這塊 pdf 區域下的機率才會得出機率 以數學式表達就是 : $P(x-\delta < x< x+\delta) = \int^{x+\delta}_{x-\delta}f(x)dx = 2 \cdot \delta \cdot f(x) \Rightarrow f(x) = \cfrac{P(x-\delta < x< x+\delta)}{2 \delta}$ $\delta = 切出來的寬度$ ::: :::danger **pdf-pmf 比較** * pdf : - non-negative $\Rightarrow f(x_i) \ge 0$ - integrates to 1 $\Rightarrow g \rightarrow f \Rightarrow \int^{\infty}_{-\infty}f(x)dx = 1$ * pmf : - non-negative $\Rightarrow f(x_i) \ge 0$ - sums to 1 $\Rightarrow \Sigma_{i}f(x_i) = 1$ ::: :::warning **重要補充** : cdf (F(x)) 是 pdf (f(x)) 的積分 當 X 是連續(continuous)並且 $F_x$ 可微(differentiable),則 cdf 是 pdf 的積分 以數學式表達就是 : $P(-\infty < x \le x) = \int^{x}_{-\infty}f(x)dx=F(x)$ ::: :::success **簡單小補充** : 1. $P(x < X < y) = F(y) - F(x)$ 2. $P(X > x) = 1 - F(x)$ 3. 當 X 是連續(continuous)的,那這就會成立 : $F(b)-F(a) = P(a < x < b) = P(a \le x < b) = P(a < x \le b) = P(a \le x\le b)$ ::: # Some Important Discrete Random Variables ![](https://hackmd.io/_uploads/H1sdBF216.png) $f(x) = \cfrac{e^{\beta_0 + \beta_1 x}}{1 + e^{\beta_0 + \beta_1 x}}$ 這張圖的 fitting 可能不好,precision 可能會比較好 * parametric $Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ 或是 $\beta_0 + \beta_1 \sqrt{x_i} + \beta_2 x_i^2 + ... + \epsilon_i$ * non-parametric $Y_i = m(x_i) + \epsilon_i$ --- 接下來介紹 2 種大方向描述 discrete random variables * **point mass distribution** **定義** : $\Omega = \left\{ \omega_1,\ \omega_2,\ ...,\ \omega_n \right\} \stackrel{\text{X}}{\longrightarrow} X(\omega_i) = \underbrace{a}_{one\ value}$ **分佈** : $f(x) = P(X = x) =\begin{cases} 1 \ \text{if} \ x=a \\ 0 \ \text{if} \ x \neq a \end{cases}$ * **discrete uniform distribution** **定義** : $\Omega = \left\{ \omega_1,\ \omega_2,\ ...,\ \omega_n \right\} \stackrel{\text{X}}{\longrightarrow} \left\{ X(\omega_1),\ X(\omega_2),\ ...,\ X(\omega_n) \right\} = \left\{ \underbrace{a_1}_{\text{小}},\ a_2,\ ...,\ \underbrace{a_n}_{\text{大}} \right\}$ **分佈** : $f(x) = P(X = x) =\begin{cases} \cfrac{1}{k} ,\ x \in \left\{x_1,\ ...,\ x_n \right\} \\ 0 ,\ \text{otherwise} \end{cases}$ **小補充** : $\left\{a_1,\ a_2,\ ...,\ a_n \right\} \neq \underbrace{\left[a_1,\ a_n \right]}_{區間}$ 這 2 種方式所呈現的共同點是機率和為 1,而差異之處在於 point mass distribution 可適用於任何 discrete random variables,但 discrete uniform distribution 是當中的一種特例,所有可能的取值都具有相等的機率 --- 接著介紹各種 discrete distribution ## Bernoulli Distribution $X$ **僅**具有 $2$ 個數值而已,像是 $0,\ 1$ $X \sim Bernoulli(p)$ **分佈** : $f(x) = P(X = x) = \begin{cases} p \ \ \ \ \ \ \ \ \ \ \ \ , \ x=1 \\ (1-p) \ \ , \ x=0 \end{cases} \Rightarrow p^{x}(1-p)^{1-x},\ x=0,\ 1$ **小補充** : 參數對分佈($x$值)的影響,如果 $p$ 比較大比較容易看到 $x = 1$ 例子 : 翻硬幣 $x = \text{Head} \ / \ \text{Tail} \Rightarrow 1 \ / \ 0$ ## Binomial Distribution $Y$ 代表在 $n$ 個相互獨立且機率同為 $p$ 的 Bernoulli trials 所成功的次數 $X_1,\ X_2,\ ...,\ X_n \sim Bernoulli(p)$ **分佈** : $f(y) = P(Y = y) = C^{n}_{y} \underbrace{p ... p}_{y 個}\ \underbrace{(1-p) ... (1-p)}_{(n-y) 個} \Rightarrow C^{n}_{y} p^{y} (1-p)^{n-y},\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$ **小補充** : 如果 $p$ 或 $n$ 比較大,就會比較容易看到 $y$ 比較大 例子 : 投 n 次球能進幾顆(分為投中/不中) $X_i = \begin{cases} 1 ,\ \text{進球} \\ 0 ,\ \text{沒進} \end{cases}$ ,另外 投中/不中 不會影響到下次的投球情況 $\Leftarrow$ 獨立 $\Rightarrow Y = \Sigma^{n}_{i=1} X_i = 投 n 球,投中的次數$ :::warning 大補充 : * $f(y) \ge 0$ * $\Sigma^{n}_{y=0} f(y)=1$ ::: ## Negative Binomial Distribution $Y$ 代表在一系列相互獨立且機率同為 $p$ 的 Bernoulli trials 中,第 $r$ 次成功前的失敗次數 $Y \sim NB(r,\ p),\ p = P(x_i = 1)$ **分佈** : $f(y) = P(Y = y) = C^{r-1+y}_{y}\ p^r (1-p)^y,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$ **小補充** : 如果 $p$ 比較小 或 $r$ 比較大,就會比較容易看到比較大的 $y$ 值 例子 : 投幾次球能進 10 顆 會預先分為 (i) 有 9 球進、y 球沒進 (ii) 第 10 球進 (i) $C^{9+y}_{y} p ^{9} (1-p)^y \Rightarrow C^{r-1+y}_{y}\ p^{r-1} (1-p)^y$ (ii) $p$ :::danger 比較--Bin/Negative Bin | | Bin | NB | |:------ |:----------------------- |:------------------------ | | fixed | **n** (#trails)(*投*) | **r** (#success)(*進*) | | random | **y** (*進*) | **y** (#failure) | | | | **r+y** (#trails)(*投*) | ::: ## Geometric Distribution $Y$ 代表在一系列相互獨立且機率同為 $p$ 的 Bernoulli trials 中,第 $1$ 次成功前的失敗次數 (或者是 : $X$ 代表在第 $1$ 次成功前執行多少次 Bernoulli trials ) $Y \sim Geo(p) = NB(r=1,\ p)$ **分佈** : $f(y) = P(Y = y) = (1-p)^y \cdot p,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$ **分佈(另外的定義)** : $f(y) = P(X = x) = P(Y+1 = x) = P(Y = x -1) = (1-p)^{(x-1)} \cdot p,\ y \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$ ## Poisson Distribution 又被稱做 Counting Process $X_t$ 是一個整數的隨機變量,表示同一時期 $[0,\ t]$ 發生的次數 $X \sim Poi(\lambda)$ **分佈** : $f(x) = P(X = x) = \cfrac{(mt)^x e^{-mt}}{x!} = \cfrac{\lambda^x e^{-\lambda}}{x!},\ x \in \left\{0,\ 1,\ 2,\ ...,\ n \right\}$ **解釋分佈的符號** : * $\lambda : \text{在} \Delta t \ \text{內} : \begin{cases} \text{發生 1 次的機率} \approx m \Delta t \\ ... \ge 2 \ ... \approx 0 \\ \text{沒發生} ... \approx 1 - m \Delta t \end{cases} \Rightarrow \text{平均發生的次數} \begin{cases} 0 \cdot (1 - m \Delta t) \\ 1 \cdot m \Delta t \\ \ge 2 \cdot 0 \end{cases}$ 這 3 項相加等於 $m \Delta t$ * $mt$ : $\underbrace{P(X_t = 1)}_{[0, \ t]}$ 在 t 時間內發生 1 次的機率 **特色** * $X_0 = 0$ : 在 $[0,\ 0]$ 發生的次數(歸零) * $\text{For}\ s < t,\ X_s \perp (X_t - X_s)$ : 下段時間發生的次數與前段時間無關 * $X_s \stackrel{\text{d}}{=} X_{t+s} - X_t$ : 發生的次數與時間**長度**有關,與時間發生的**早晚**無關 * $\lim\limits_{t \rightarrow 0} \cfrac{1}{t} P(X_t = 1) = m = \cfrac{P(X_t = 1)}{t} : \begin{cases} P(X_t = 1) \approx tm,\ t \rightarrow 0 : \text{在} k \Delta t \text{內發生一次的機率 P} \\ P(X_{2t} = 1) \approx 2 tm = 2P(X_t = 1) : \text{在} \Delta t \text{內發生一次的機率 P 的} k \text{倍} \end{cases} \\ \Rightarrow 所以得到發生一次的機率隨觀察時間的長度呈現線性成長$ * $\lim\limits_{t \rightarrow 0} \cfrac{1}{t} P(X_t > 1) = 0 \Rightarrow P(X_t > 1) \approx 0$ : 在 $\Delta t$ 內幾乎不會同時發生 $2$ 次以上 :::danger **重點** : *$m$ 在 [0, 1] 內平均發生的次數* *$\lambda = mt =$ 在 [0, t] 內平均發生的次數* 次數 : $x \Delta t = \Sigma^{n}_{i = 1} x \Delta t^{i}$ 平均數 : $m \Delta t \cdot n = mt = \lambda$ ::: :::info 補充-1 : $n$ 大且 $\Delta t$ 小 $\Rightarrow x \Delta t^{i} \stackrel{\text{approx}}{\sim} Bernoulli(m \Delta t)$ 如果同時又符合每一個 $x \Delta t^{i}$ 都**獨立**時 $\Rightarrow xt \stackrel{\text{approx}}{\sim} Bin(n,\ m \Delta t)$ ::: :::info 補充-2 : 假設 $x$ 在 [0, t] 內發生的次數 $\sim Poisson(\lambda)$ 那我們就可以知道在 [0, t] 內平均會發生 $\lambda$ 次 而如果時間長度改為 [0, 3t] 時平均會發生 $3 \lambda$ 次 $\Rightarrow Y =$ [0, 3t] 的次數,$Y \sim Poisson(3 \lambda)$ ::: # Some Important Continuous Random Variables ## Uniform Distribution 所有可能看到的值會界在 [a, b] 之間 $X \sim Unif(a,\ b)$ **分佈** : pdf : $f(x) = \begin{cases} \mu,\ a \le x \le b \\ 0 ,\ \text{otherwise}\end{cases}$ cdf : $F(x) = P(X \le x) = \int^{x}_{a} f(t) \ dt = \cfrac{x-a}{b-a},\ a \le x \le b$ 這是 uniform distribution 的圖 ![](https://hackmd.io/_uploads/BJEoFA0e6.png) $P(a \le x \le b) = 1 = \int^{a}_{b} \mu \ dx = (b-a) \mu \Rightarrow \mu = \cfrac{1}{b-a}$ ## Normal Distribution 又被稱做 gaussian distribution 在自然界中有許多的現象都呈現常態分佈 並且常態分佈是從中央極限定理 (CLT) 所發現的 : $\bar{X} \stackrel{\text{approx}}{\sim} Normal$ $X \sim N(\mu,\ \sigma^2)$ **分佈** : $f(x) = \cfrac{1}{\sqrt{2 \pi }\cdot \sigma} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}$ 證明 : :::spoiler 證明 normal distribution 的由來 : ![](https://hackmd.io/_uploads/HJG5UMJZT.png) 現在我們希望可以射中中間藍色區域 假設 $(X,\ Y) =$ 射中的 $(x,\ y)$ 座標 $\text{w/ density} \ \phi(x,\ y)$ 其中 $\phi(x,\ y)$ 滿足 : * $\phi$ 的大小只和 $r$(圓點距離) 有關,但和 $\theta$(方向無關) * $\phi(x_1, \ y_1) \ge \phi(x_2,\ y_2) \ \text{if}\ r_1 \le r_2$ * 射到 $x$ 的座標和 $y$ 的座標無關 $\Rightarrow \phi(x,\ y) = f(x)g(y)$ * $\int^{\infty}_{-\infty}\int^{\infty}_{-\infty} \phi(x,\ y) \ dxdy = 1$ 這樣就證得 : $f(x) = \cfrac{1}{\sqrt{2 \pi \sigma}} e^{-\frac{(x-\mu)^2}{2 \sigma^2}}$ ::: **特色** * $\text{if}\ X \sim N(\mu,\ \sigma^2) \Rightarrow Z = \cfrac{(X - \mu)}{\sigma} \sim N(0,\ 1)$ * $\text{if}\ Z \sim N(0,\ 1) \Rightarrow X = \mu + \sigma Z \sim N(\mu,\ \sigma^2)$ * $\text{if}\ X_i \sim N(\mu_i,\ \sigma^2_i),\ i = 1 \sim n \ 且全都獨立 \Rightarrow \Sigma^n_{i=1} X_i \sim N(\Sigma^n_{i=1} \mu_i,\ \Sigma^n_{i=1} \sigma^2_i)$ ## Exponential Distribution $X$ 代表在事件發生第一次之前所等待的時間 所有可能看到的值會界在 [0, $\infty$] 之間 $X \sim Exp(\beta)$ **分佈** : pdf : $f(x) = \cfrac{d}{dx} F(x) = me^{-mx} \stackrel{\beta = \frac{1}{m}}{=} \cfrac{1}{\beta}e^{-\frac{x}{\beta}},\ x \ge 0$ cdf : $F(x) = P(X \le x) = 1 - P(X > x) = 1 - P(N_x = 0) = 1 - e^{-mx}$ **解釋分佈的符號** : * $\beta$ : 等待第一次發生平均需要的時間 * $N_x$ : 在 [0, x] 內發生的次數 * $e^{-mx}$ : $\because f(x) = P(X = x) = \cfrac{(mt)^{x}e^{-mt}}{x!}\ \therefore f(0) = e^{-mt},\ \text{其中} x \text{是在 [0, t] 內發生的次數}$ **特色** * 無記憶性(memory less) : 如果是呈現 exp 分佈,那就會遵循此條件機率 $P(X > x+y | X > x) = P(X > y)$ 證明如下 $\Rightarrow$ :::spoiler $\because P(X > x+y | X > x) = \cfrac{P(X > x+y \ \text{and}\ X > x)}{P(X > x)} = \cfrac{P(X > x+y)}{P(X > x)}$ ::: * 失效率(constant failure rate) : $r(x) = \cfrac{f(x)}{1 - F(x)}$ 證明如下 $\Rightarrow$ :::spoiler $\begin{split}r(x) &= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} P(x \le X < x + \Delta x | X \ge x) \\ &= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} \cfrac{P(X < (x+\Delta x)) - P(X < x)}{P(X \ge x)} \\ &= \lim\limits_{\Delta x \rightarrow 0} \cfrac{1}{\Delta x} \cfrac{F(x+\Delta x) - F(x)}{1 - F(x)}\\ &= \lim\limits_{\Delta x \rightarrow 0} \left( \cfrac{1}{1-F(x)} \cdot \cfrac{F(x + \Delta x) - F(x)}{\Delta x}\right) = \cfrac{f(x)}{1 - F(x)}\end{split}$ ::: ## Gamma Distribution $X$ 代表在事件發生第 $\alpha$ 次之前所等待的時間 所有可能看到的值會界在 [0, $\infty$] 之間(如果 $\alpha>1$) $X \sim Gamma(\alpha,\ \beta)$ **分佈** : pdf : $f(x) = \cfrac{d}{dx} F(x) = \cfrac{d}{dx} \int^{mx}_{0} \cfrac{z^{\alpha -1} \cdot e^{-z}}{\alpha -1} dz = m \cdot \cfrac{(mx)^{\alpha-1}\cdot e^{-mx}}{(\alpha -1)!} \ \stackrel{\frac{1}{m} = \beta}{=} \ \cfrac{x^{\alpha-1} \cdot e^{-x/ \beta}}{\beta^{\alpha} \Gamma(\alpha)}$ cdf : $\begin{align} F(x) &= P(X \le x) = 1 - P(X > x) = 1 - \Sigma^{(\alpha -1)}_{k=0}\ P(N_x = k) \\ &= 1 - \left ( \Sigma^{(\alpha -1)}_{k=0}\ \cfrac{(mx)^{k}e^{-mx}}{k!} \right) \ \stackrel{\text{integration by parts}}{=} \ 1-\int^{\infty}_{mx} \cfrac{z^{\alpha-1} \cdot e^{-z}}{(\alpha-1)!}dz = \int^{mx}_{0} \cfrac{z^{\alpha-1} \cdot e^{-z}}{(\alpha-1)!}dx \end{align}$ **解釋分佈的符號** : * $N_x$ : 在 [0, x] 內發生的次數 $\sim Poi(mx)$ **特色** * $Gamma(\alpha = 1,\ \beta) \sim Exp(\beta)$ * $X_i \stackrel{i.i.d}{\sim} Exp(\beta) \Rightarrow \Sigma^{\alpha}_{i = 1}\ X_i \sim Gamma(\alpha,\ \beta)$ * $X_i \stackrel{independent}{\sim} Gamma(\alpha_i,\ \beta) \Rightarrow \Sigma^{\alpha}_{i = 1}\ X_i \sim Gamma(\Sigma^{\alpha}_{i = 1}\ \alpha_i,\ \beta)$ ::: danger $\stackrel{i.i.d}{\sim}$ : independent and identically distributed 獨立且同分布 ::: ::: success 使用時機 : * waiting time * many non-negative random variables of continuous type ::: ## t Distribution 參數統計量的抽樣分配 通常用來處理小樣本數據,或母體方差未知 所有可能看到的值會界在 $(-\infty, \infty)$ 之間 $X \sim t(df)$ **特色** * $x_i \stackrel{i.i.d}{\sim} N(\mu,\ \sigma^2)$ * $\bar{x} \longrightarrow \mu$ * **when Var 小** : $\cfrac{\bar{x}- \mu}{{\sigma} / \sqrt{n}} \sim N(0,\ 1)$,注意是<font color="#f00">$\sigma$</font> * **when Var 大** : $\cfrac{\bar{x}- \mu}{{\hat{\sigma}}/ \sqrt{n}} \nsim N(0,\ 1),\ \sim t$,注意是<font color="#f00">$\hat{\sigma}$</font> ::: danger 重點補充 : $\cfrac{\bar{x}-\mu}{\hat{\sigma}/ \sqrt{n}} = \underbrace{(\cfrac{\bar{x}-\mu}{\sigma/ \sqrt{n}})}_{N(0,\ 1)} \times \cfrac{1}{\underbrace{(\hat{\sigma}/ \sigma)}_{(n-1)\hat{\sigma}^2/ \sigma^2 \sim \chi^2(n-1)}} \sim t(n-1)$ $t = \underbrace{\left ( \cfrac{z}{\sqrt{\chi^2(n-1) \ / \ (n-1)}}\right)}_{分子分母相互獨立} \sim t(n-1)$ ::: ::: success 當 $t(1)$ 的時候就是 **cauchy distribution** 這時候 median = 0, mode = 0 而當 $t(\infty)$ 的時候就是 **normal distribution** ::: ![](https://hackmd.io/_uploads/rkEtp6iWa.png) ## chi_square Distribution $\chi^2 \ \text{is} \ Gamma(\alpha = \frac{r}{2},\ \beta = 2)$ 把 $r$ 個獨立的平方標準常態分佈加總,會等於卡方分配(用 $r$ 當作自由度) 用數學式表達 : $Y = \Sigma^{r}_{i=1} X_i^2 \sim \chi^2(r),\ \text{when}\ X_i \stackrel{i.i.d}{\sim} N(0,1)$ 舉例如下 $\Rightarrow$ :::spoiler 假設 $X_i \sim N(\mu,\ \sigma^2)$ $\hat{\sigma}^2 = \Sigma^n_{i = 1} \cfrac{1}{n-1}(x_i - \bar{x})^2 \longrightarrow \sigma^2$ $\Rightarrow \cfrac{(n-1)\hat{\sigma}^2}{\sigma^2} = \Sigma^n_{i = 1} (\cfrac{x_i - \bar{x}}{\sigma})^2 \sim \chi^2(n-1)$ **標準化 $x_i$,跟 $N(0,\ 1) 做連結$** :::