A.3.5 Normal(Gaussian) Distribution

定義

一個 real-valued 的 random variable

$X$ 如果是 normal (Gaussian) distributed，且它的 mean

$=\mu$、variance

$={\sigma }^2$，那我們就用

$N(\mu ,{\sigma }^2)$ 表示。

normal (Gaussian) distributed 的條件是它的 probability density function 滿足：

更詳細的定義和證明可參考下方「證明」小節。

normal distribution 是 continuous probability distribution 的一種，那麼為什麼稱作 "normal"，是因為許多隨機的現象都會滿足如下圖這樣的 bell-shaped 分佈：

許多自然界的現象都可以被看作這種分佈的不同版本，每一種之間只有一點點不同，差異在於作為 typical value 的

$\mu$ 可能不一樣。

如果把

$\mu$ 看作 typical value，那麼

$\sigma$ 的意思就變成了「有多少 instances 會在這個 prototypical（典型的）值周遭變化」。

從上面這個圖中我們可以看到和

$\mu$ 距離（不論正負）差是多少

$\sigma$ 的比例各是多少，像是：

$\to$ 68.2% 會落在

$(\mu -\sigma ,\mu +\sigma )$

$\to$ 95.5% 會落在

$(\mu -2\sigma ,\mu +2\sigma )$

如果是分佈在距離

$3\sigma$ 之內，那麼機率達到 0.99，寫成數學式也就是：

$$P\{|x-\mu |<3\sigma \}\approx 0.99$$

實務上如果

$x$ 在距離

$\mu 3\sigma$ 之外（也就是

$x<\mu -3\sigma$ 或

$x>\mu +3\sigma$），我們令

$p(x)\approx 0$。

證明

下圖中匡起來的地方是 normal distribution 的完整定義，首先我們先來證明這個

$f(x)$ 滿足作為一個 pdf 的 properties。

作為一個 pdf 的 properties 定義在右方藍色字的地方，有三點，其中我們只需要證明第二點。

接著用 mgf 去確認

$f(x)$ 中的

$\mu$ 和

$\sigma$ 確實是

$X$ 的 mean 和 variance：

從這裡我們也得到：

normal distribution 的 mgf 為：

$$M(t)=e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$$

例子

從 pdf 推 mgf

從 mgf 推 pdf

特例：unit normal distribution

如果：

mean

$=0$，variance

$=1$

我們將這樣的 normal distribution 稱作 unit normal distribution

$N(0,1)$（unit normal：

$Z$）

或是另一種說法，如果我們有一個 random variable

$X$，

$X$ 是 normally distributed with parameters

$\mu ,{\sigma }^2$（i.e.

$X\sim N(\mu ,{\sigma }^2)$），那麼：

$$\begin{array}{rl}\text{if }& X\sim N(\mu ,{\sigma }^2),Z=\frac{X-\mu }{\sigma }\\ \text{then }& Z\sim N(0,1)\end{array}$$

這樣的做法，即下方會講的 z-normalization。

如果我們把

$\mu =0,{\sigma }^2=1$ 代入原本 normal distribution 的 pdf，就會得到：

除此之外，如果

$Z\sim N(0,1)$，則

$Z$ 的 cumulative distribution function (cdf，也就是 distribution function) 為：

我們通常會把 standard normal random variable 的 cdf 用

$\mathrm{\Phi }(z)$ 表示。

特性

若

$X\sim N(\mu ,{\sigma }^2)$ 且

$Y=aX+b$，則：

$$Y\sim N(a\mu +b,a^2{\sigma }^2)$$

簡單推導如下：

若

$X_1,X_2,...,X_n$: independent normal variables，

$X_i\sim N({\mu }_i,{\sigma }_i^2)$
令

$Y=X_1+X_2+...+X_n$，

$Y=N(\mu ,{\sigma }^2)$

則

$Y$ 亦為 normal，且

$\mu =\sum _i{\mu }_i{\sigma }^2=\sum _i{\sigma }_i^2$

independent normal variables 的和也是 normal 的

證明如下：

關於 moment generating function (mgf) 的更詳細的介紹，有興趣可以參考筆記「補充：moment generating function (mgf)」的內容。

打星號處證明如下：

z-normalization

z-normalization，又稱作 z-score normalization 或 standardization，是一種把 mean

$\mu$ 轉換成

$0$、 standard deviation

$\sigma$ 轉換成

$1$ 的技巧。

$\to$ 這麼做的目的是為了讓單位、規模不同的 data sets 之間可以去做比較。

定義

若

$X=N(\mu ,{\sigma }^2)$，則

$X$ 的 z-normalization 定義為：

這樣一來，

$|Z|$ 的值就是以 standard deviaiton 為單位，

$X$ 和

$\mu$ 之間的距離。

定理

從

$A.44$ 的定義衍伸出來的定理是，如果有一個

$X=N(\mu ,{\sigma }^2)$，且

$Z$ 又滿足

$Z\sim \frac{X-\mu }{\sigma }$，則

$Z\sim N(0,1)$。

定理的數學式與證明如下：

例子

偷懶用 chatgpt 來產生的例子：

每個 data point 的 z-score

$z_i$，代表這個 data point 比 mean 多或少幾個 standard deviation。

舉例來說：

$z_1\approx -0.70$

$\to$ 代表的是第一個 data points（原值為

$4$）比

$\mu$ 少

$0.7$ 個

$\sigma$

$\mu =5.2\approx 4-0.7\sigma =4-0.7\times 1.72$

central limit theorem (CLT)

• CLT 有很多種版本。課本只很簡略地講了點，由於我寫一寫發現關於 CLT 的篇幅太長，所以只將課本有講到的部分寫在這裡，其他改放到後面另一篇筆記「補充：CLT」。

令

$X_1,X_2,...,X_n:$ iid random variables
每個

$X_i,i=1,...,n$ 的 mean 皆為

$\mu$， variance 皆為

${\sigma }^2<\mathrm{\infty }$。

• 因為我們從同個 population 中取這些 samples，且它們為 iid，意思就是每個 sample 有相同的 distribution（也就等同有相同的 mean 和 variance），且彼此之間互不影響。
• 我們會規範
  ${\sigma }^2<\mathrm{\infty }$ 是因為，即使大多數的 distribution 的 variance 都是 finite，但是也有 distribution 有 infinite variance，例如 Cauchy distribution。

CLT 在說的是：

當

$N$ 很大時：

$$X_1+X_2+...+X_N$$
的 distribution 會接近

$N(N\mu ,N{\sigma }^2)$

舉例來說，如果我們的

$X$ 是 binomial，且 parameters 為

$(N,p)$

意思也就是，如果我們執行

$N$ 次獨立的 Bernoulli trials，且 success 的機率為

$p$，那麼這

$N$ 次裡的總 succes 次數就是 binomial distributed，我們把代表 success 次數的 random variable 令為

$X$。

也可以說

$X$ 就是

$N$ 次 Bernoulli trials 的和（因為結果是 success 的話會加一，如果 fail 則是加零，所以總和也會等同於 success 次數。）

那麼這樣的

$X$ 會滿足：

$$\frac{X-Np}{\sqrt{Np(1-p)}}\sim N(0,1)$$

$N(0,1)$： unit normal

CLT 可以應用在讓電腦產生 normally distributed random variables，programming languages 會有可以在

$[0,1]$ 之間產生 uniformly distributed (pseudo-)random numbers 的 subroutines。

如果我們用

$U_i$ 來代表這樣的 random variables，舉個例子來看看 CLT 會帶來什麼樣的結果，我們會得到：

$$\sum _{i=1}^{12}{U}_i-6\sim N(0,1)$$

理由見下圖：

最後，如果我們說

$X^t\sim N(\mu ,{\sigma }^2)$，則 estimated sample mean：

$$m=\frac{\sum _{t=1}^N{X}^t}{N}$$

也會是 normal，且 mean 為

$\mu$，variance 為

$\frac{{\sigma }^2}{N}$（即

$N(\mu ,\frac{{\sigma }^2}{N})$）。

意思是：

我們由一個 normal distribution 中取

$N$ 個 sample，這些 sample 的 mean

$m$ 本身也是一個 random variable（由 random variables 組成的 function 也會是一個 random variable）

那對於這個 sample mean

$m$，如果我們去看他的 distribution，就也會是 normal，且滿足上述 mean 和 variance 的結果。

簡單推導過程如下：

例子：

參考資料

• Hogg,Tanis,Zimmerman, Probability and Statistical Inference, 9th ed(2015), p.105-107, 110