考研筆記 - 機率 (偉文高成)

tags: 考研 機率 數學

撰寫時間 : 2022/09/12 ~ 2022/10/28

機率模型的考前背誦表

機率模型	PMF $f_X(x)$	MGF $m_X(t)$	$E[X]$	$\mathrm{Var}(X)$	模型關係
白努利分布 $X\sim B(1,p)$	$p^x(1-p{)}^{1-x}$	$1-p+p{e}^t$	$p$	$p(1-p)$	X
二項分布 $X\sim B(n,p)$	$C_x^n{p}^x(1-p{)}^{n-x}$	$(1-p+p{e}^t{)}^n$	$np$	$np(1-p)$	$\mathrm{\Sigma }B(1,p)=B(n,p)$、當 $n\to \mathrm{\infty },p\to 0$時二項分布近似成波松分布
波松分布 $X\sim Po(\lambda ),\lambda \triangleq np$	$\frac{e^{-\lambda }{\lambda }^x}{x!}$	$e^{\lambda (e^t-1)}$	$\lambda$	$\lambda$	$Po({\lambda }_1)+Po({\lambda }_2)=Po({\lambda }_1+{\lambda }_2)$
幾何分布 $X\sim G(p)$	$1\cdot p(1-p{)}^{x-1}$	$\frac{p{e}^t}{1-(1-p)e^t}$	$\frac{1}{p}$	$\frac{1-p}{p^2}$	n次白努利試驗第1次成功的機率
負二項分布 $X\sim NB(p)$	$C_{r-1}^{x-1}\cdot p^r(1-p{)}^{x-r}$	${\left(\frac{p{e}^t}{1-(1-p)e^t}\right)}^r$	$r\left(\frac{1}{p}\right)$	$r\left(\frac{1-p}{p^2}\right)$	$\mathrm{\Sigma }G(p)=NB(r,p)$
均勻分布 $X\sim U[a,b]$	$\frac{1}{b-a}$	$\frac{1}{b-a}\frac{1}{t}(e^{tb}-e^{ta})$	$\frac{a+b}{2}$	$\frac{(\text{interval}{)}^2}{12}$	設任意機率模型的CDF為轉換函數則轉換後為 $U\sim [0,1]$
高斯分布 $X\sim N(\mu ,{\sigma }^2)$	$\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$	$e^{\mu t+\frac{1}{2}{\sigma }^2{t}^2}$	$\mu$	${\sigma }^2$	$\mathrm{\Sigma }N({\mu }_i,{\sigma }_i^2)=N(\sum _{i=1}^n{\mu }_i,\sum _{i=1}^n{\sigma }_i^2)$
指數分布 $X\sim E(\lambda )$	$\lambda e^{-\lambda x}$	$\frac{\lambda }{\lambda -t}$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$	X
gamma分布 $X\sim Gamma(\alpha ,\beta )$	$\frac{x^{\alpha -1}{e}^{-\frac{x}{\beta }}}{\mathrm{\Gamma }(\alpha )\cdot {\beta }^{\alpha }}$	$\frac{1}{(1-\beta t{)}^{\alpha }}$	$\alpha \beta$	$\alpha {\beta }^2$	$\mathrm{\Sigma }E(\lambda )=Gamma(\alpha ,\frac{1}{\lambda })$

---

ch1 機率導論

綱要

• 機率空間由樣本空間、事件的集合、機率測度三部分組合
• 3大公理與相關定理的證明
• 獨立且乘法原則、互斥或加法原則
• 重複取/不重複取的排列與組合
• 多項式展開 - 二項式公式、二項式級數
• 條件機率 - 樣本空間改變
• 獨立事件與燈泡問題
• 全機率定理與貝式定理

---

集合定義與運算

1. 集合有2種表示式，一種是列舉式，把所有元素都列舉出來；另一種是描述式，描述所有集合內的共同的特性，記為
   $A=\{x\in \mathbb{N}\mid 1<x<10\}$。
2. 宇集(universe)，為討論問題領域中，所有合乎選擇條件的元素所形成的集合，記為
   $S$或是
   $\mathrm{\Omega }$。
3. $n(A)$代表集合
   $A$中元素(element)的個數。
4. 集合有相減的運算，即為差集(difference)，
   $A-B=A\cap \bar{B}$，但集合沒有相加的運算。
5. 冪集(power set)，記為
   $2^A\triangleq \{X\mid X\subseteq A\}$，代表包含於集合
   $A$中所有子集合
   $X$所形成的集合，其中包括集合
   $A$本身與空集合
   $\varphi$。而欲計算冪集元素的個數，可以使用"獨立且"乘法原則，在原集合
   $A$中每一個元素分為可取和不取的兩種情形，因此
   $n(2^A)=2^{n(A)}$。

---

隨機試驗與機率空間

1. 隨機試驗有兩個比較重要的定義 - 在相同條件下可以重複進行，隨機試驗的結果事前不可預知。
2. 機率空間(probability space)
   $(\mathrm{\Omega },F,P)$為人類定義出來，用於描述機率問題的，分為3個部分
   • 第一項
     $\mathrm{\Omega }$為樣本空間(sample space)，一隨機試驗所有可能發生結果組成的集合。
   • 第二項
     $F$為樣本空間的冪集(power set)，集合內的元素為事件(event)
     $A$，屬於樣本空間的子集合
     $A\subseteq S$
   • 第三項
     $P$為機率測度(probability measure)，一個從集合
     $F$映至實數域
     $R$的函數，
     $P:F\to R$。每個事件都被此函數賦予一個0和1之間的機率值。

---

機率的三大公理(Kolmogorov axioms)

一隨機試驗的樣本空間

$S$，

$A$為

$S$中的任一事件，因此所有事件的集合即為樣本空間的冪集

$F$，定義機率測度

$P:F\to R$為樣本空間的冪集映射至實數的實係數函數，並滿足以下三大機率公理

1. $P(S)=1$，機率總和為一。
2. $P(A)\in \mathbb{R},P(A)\ge 0,\mathrm{\forall }A\in F$，任一事件的機率為非負實數。
3. 若事件
   $A_n,n=1,2,3,\dots$彼此互斥(mutually exclusive)，即事件交集為空集合
   $A_i\cap A_j=\varphi ,i\ne j$，則滿足加法原理
   $P(\underset{n}{\cup }{A}_n)=\sum _{n}P(A_n)$。

根據三大機率公理就可以證明出很多機率的定理，大部分的證明幾乎都是用到是第三點公理。例如機率的排容原理

$P(A\cup B)=P(A)+P(B)-P(A\cup B)$的證明

1. 列出互斥
   $$(A\cap B)\cap (\bar{A}\cap B)\cap (A\cap \bar{B})=\varphi$$
2. 列出或
   $$(A\cap B)\cup (\bar{A}\cap B)\cup (A\cap \bar{B})=A\cup B$$
3. 使用加法原則
   $$\begin{array}{rl}& P((A\cap B)\cup (\bar{A}\cap B)\cup (A\cap \bar{B}))=P(A\cup B)\\ & =P(A\cap B)+P(\bar{A}\cap B)+P(A\cap \bar{B})\\ & =\{P(A\cap B)+P(A\cap \bar{B})\}+\{P(A\cap B)+P(\bar{A}\cap B)\}-P(A\cap B)\\ & =P(A)+P(B)-P(A\cup B)\end{array}$$

---

計數原理有4個技巧

1. (獨立且)乘法原則
   若兩事件
   $A$和
   $B$，為獨立事件
   $P(A\cap B)=P(A)P(B)$，
   $A$有
   $n$個元素，
   $B$有
   $m$個元素，則由
   $A$且
   $B$中各取一個元素，共有
   $n\times m$種結果。
2. (互斥或)加法原則
   若兩事件
   $A$和
   $B$，為互斥事件
   $A\cap B=\varphi$，
   $A$有
   $n$個元素，
   $B\mathrm{有}$
   $m$個元素，則由
   $A$或
   $B$中取一個元素，共有
   $n+m$種結果。
3. 樹狀圖
   適用於一試驗重複執行或是多試驗循序執行。
4. 排列與組合
   當隨機試驗可能的結果太多，則採用此技巧。分為可重複取或是不可重複取；有論次序的排列與沒有論次序的組合。

---

排列組合

• 排列 - 重複取 -
  $n$物取
  $r$個重複排列有
  $n^r$種情形。
• 排列 - 不重複取 -
  $n$物取
  $r$個不重複排列有
  $P_r^n=n(n-1)\cdots (n-r+1)=\frac{n!}{(n-r)!}$種情形。
• 排列 - 不盡相異物的排列數 - 有
  $n$件物品含有
  $k$種不同種類，分別個數為
  $n_1,n_2,\dots ,n_k$，則
  $n_1+n_2+\cdots n_k=n$。若將
  $n$件物品排列，則其排列數為
  $\frac{n!}{n_1!n_2!\cdots n_k!}$。
• 多項式展開
  

1. 二項式公式
   $$(x+y{)}^n=\sum _{k=0}^n\frac{n!}{k!(n-k)!}{x}^k{y}^{n-k}$$ 可以視為有
   $k$顆紅球
   $x$與
   $n-k$顆藍球
   $y$做不盡相異物的排列數。
2. 同理可擴展至多項式公式
   $$(x_1+x_2+\cdots +x_k{)}^n=\sum _{0\le n_i\le n}\frac{n!}{n_1!n_2!\cdots n_k!}{x}_1^{n_1}{x}_2^{n_2}\cdots x_k^{n_k}$$
3. 微積分的二項式級數(binomial coefficients)與排列組合無關，是利用馬克勞林級數(以0展開的泰勒級數)證明。
   $$\begin{array}{rl}(1+x{)}^k& =\sum _{n=0}^{\mathrm{\infty }}\frac{f^{(n)}(0)}{n!}{x}^n\\ & =\frac{f(0)}{0!}+\frac{f^{\prime }(0)}{1!}x+\frac{f^{″}(0)}{2!}{x}^2+\frac{f^{‴}(0)}{3!}{x}^3+\cdots \\ & =1+kx+\frac{k(k-1)}{2!}{x}^2+\frac{k(k-1)(k-2)}{3!}{x}^3+\cdots \\ & =\sum _{n=0}^{\mathrm{\infty }}\underset{\text{bimonial coefficients}}{\underbrace{\frac{k(k-1)\cdots (k-n+1)}{n!}}}{x}^n,|x|<1\\ & =\sum _{n=0}^{\mathrm{\infty }}\left(\begin{array}{c}k\\ n\end{array}\right)x^n\end{array}$$

• 組合 - 不重複取 -
  $n$物取
  $r$個不重複組合有
  $C_r^n=\frac{1}{r!}{P}_r^n=\frac{n!}{(n-r)!r!}$種情形，就是將不重複取的排列
  $P_r^n$除上重複計算的排列數
  $r!$，重要的組合公式有巴斯卡定理
  $C_k^n=C_{k-1}^{n-1}+C_k^{n-1}$。
• 組合 - 分組、分堆 - 若組別不同(論次序)則可以視為排列，若組別相同(不論次序)則可以視為組合。
• 組合 - 重複取 -
  $n$物取
  $r$個重複組合有
  $H_r^n=C_r^{n+r-1}=\frac{(n+r-1)!}{(n-1)!r!}$種情形，直觀可以理解有
  $r$個相同的圈圈要分給
  $n$個人，就是把原本
  $r$個相同的圈圈加上
  $n-1$條分隔線，做不盡相異物的排列數。

---

條件機率

1. 若事件
   $A,B$為樣本空間
   $S$的部分集合，且
   $P(B)>0$，在事件
   $B$已發生的條件之下，事件
   $A$發生的條件機率定義為
   $$P(A\mid B)=\frac{P(A\cap B)}{P(B)}$$ 其意義等同於縮小原本樣本空間
   $S$變成
   $B$，再從新的樣本空間
   $B$中找
   $A\cap B$的事件。
2. 將上式移向得
   $$P(A\cap B)=P(A\mid B)P(B),P(A\cap B)=P(B\mid A)P(A)$$ 可知欲求
   $A,B$交集的機率就是將條件機率乘上原本條件機率分母的樣本空間。
3. 條件機率
   $P(A\mid B)$跟原來的機率
   $P(A)$無法比較，因為樣本空間已經改變，除了以下特例
   $$A\subseteq B\Rightarrow P(A\mid B)=\frac{P(A\cap B)}{P(B)}=\frac{P(A)}{P(B)}\ge P(A),\because P(B)>0$$
4. 條件機率依然滿足機率的三大公理，只是樣本空間改變而已。

---

獨立事件

對於兩機率不為0的事件

$A,B$而言

$$\begin{array}{rl}& \text{events }A\text{ and }B\text{ are independent}\\ \text{(1)}& \iff & P(A\mid B)=P(A)\text{(2)}& \iff & P(B\mid A)=P(B)\text{(3)}& \iff & P(A\cap B)=P(A)P(B)\end{array}$$ 式(1)與式(2)代表條件無用 - 在事件

$B$發生有無的前提都與事件A會發生的機率無關；式(3)為ch1 計數原理有4個技巧乘法原理，代表

$A,B$交集機率等於個別機率相乘，可以由式(1)、式(2)移項推導

$P(A\mid B)=P(A)\Rightarrow \frac{P(A\cap B)}{P(B)}=P(A)$。

$A$與

$B$互斥

$\iff A\cap B=\varphi \iff P(A\cap B)=P(\varphi )=0$

定理為

$$\begin{array}{rl}& \text{events }A\text{ and }B\text{ are independent}\\ \text{(4)}& \iff & \text{events }A\text{ and }\bar{B}\text{ are independent}\text{(5)}& \iff & \text{events }\bar{A}\text{ and }B\text{ are independent}\text{(6)}& \iff & \text{events }\bar{A}\text{ and }\bar{B}\text{ are independent}\end{array}$$ 式(6)證明

$p\Rightarrow q$如下，使用"夾擊法"的證明技巧

$$\begin{array}{rl}& \text{events }A\text{ and }B\text{ are independent}\Rightarrow P(A\cap B)=P(A)P(B)\\ \because & P(A)=P(A\cap B)+P(A\cap \bar{B})\\ \therefore & P(A\cap \bar{B})=P(A)-\underset{=P(A)P(B)}{\underbrace{P(A\cap B)}}=P(A)(1-P(B))=P(A\cap \bar{B})=P(A)P(\bar{B})\\ & P(A\cap \bar{B})=P(A)P(\bar{B})\Rightarrow \text{events }A\text{ and }\bar{B}\text{ are independent}\end{array}$$ 需要注意3個以上的事件獨立，不只要兩個事件成對獨立

$P(A\cap B)=P(A)P(B),\dots$，更要保證三個事件彼此也是獨立

$P(A\cap B\cap C)=P(A)P(B)P(C)$，同理推廣到

$n$個事件互為獨立的條件，由此可知獨立事件的條件是分嚴格。

獨立事件的應用為燈泡開關的迴路問題，若串聯元件

$A,B$彼此獨立，則導通機率為

$P(A\cap B)=P(A)P(B)$；若並聯元件

$A,B$彼此獨立，則導通機率為

$P(A\cup B)=P(A)+P(B)-P(A\cap B)=P(A)+P(B)-P(A)P(B)$。

---

全機率定理

事件集

$\{E_1,E_2,\dots ,E_n\}$，若集合中任二個事件為互斥

$E_i\cap E_j=\varphi$，且

$E_1\cup E_2\cup \dots \cup E_n=S$樣本空間，稱為分割(partition)或是互斥無遺漏集合。對任意事件

$A$恆有

$$\begin{array}{rl}P(A)& =P(A\cap E_1)+P(A\cap E_2)+\cdots +P(A\cap E_n)\\ & =P(A\mid E_1)P(E_1)+P(A\mid E_2)P(E_2)+\cdots +P(A\mid E_n)P(E_n)\end{array}$$ 白話來說分割就是把樣本空間拆成一塊塊拼圖，全機率定理就是把拼圖一塊塊拼出來，再將其轉成個別條件機率，在實際情況中事件的全貌

$P(A)$不容易取得，需要靠條件機率的一塊塊拼圖

$P(A\mid E_i)P(E_i)$得知事情全貌。

---

貝氏定理

適用於題目給

$P(A\mid E_i)$，求

$P(E_k\mid A)$，事件和條件對調的問題。若

$\{E_1,E_2,\dots ,E_n\}$為樣本空間

$S$的一組分割，則任意機率大於0的事件

$A$恆有

$$P(E_i\mid A)=\frac{P(E_i\cap A)}{P(A)}=\frac{P(A\mid E_i)P(E_i)}{\sum _{j=1}^{n}P(A\mid E_j)P(E_j)}$$ 分子使用條件機率推得，分母使用全機率定理推得，一般貝氏定理都是使用樹狀圖分析求得。

---

ch2 隨機變數

綱要

• 隨機變數是將"抽象"的樣本空間映射到"具體"、可執行加減乘除運算的實數系的"函數"
• 隨機變數根據值域類型分為離散型、連續型、混合型
• 離散型隨機變數的PMF與CDF、連續型隨機變數的PDF與CDF
• 離散型與連續型的多隨機變數
• 條件機率函數與獨立隨機變數

---

隨機變數

隨機變數不具有隨機性，也不是一個變數，隨機變數

$X$是函數，把定義域上"抽象"的樣本空間

$S$中每一個樣本點

$\omega$，映射到值域上"具體"、可執行加減乘除運算的實數系

$\mathbb{R}$上，記為

$X:S\to S_X,S_X=\{X(\omega )\mid \omega \in S,X\in \mathbb{R}\}$。隨機變數是一個劃時代的概念，從古典機率僅能執行集合運算，透過隨機變數將抽象的集合映射到實數系，到近代機率可以執行加減乘除、微分、積分運算。需要注意原機率空間

$\{S,E,P(\cdot )\}$透過隨機變數

$X$映射到新的機率空間

$\{S_X,E_X,P_X(\cdot )\}$依然滿足機率的三大公理。

根據隨機變數值域

$S_X$的種類又可分為3種

1. 若
   $S_X$集合元素有有限個或是無限但可數個，則稱為離散型隨機變數。
2. 若
   $S_X$集合元素有無限不可數，則稱為連續型隨機變數。
3. 若
   $S_X$集合元素一部分可數，另一部分不可數，則稱為混合型隨機變數。

---

離散型隨機變數

1. 機率質量函數(PMF, probability mass function)
   PMF在
   $x=x_0$的值為單點機率
   $$f_X(x=x_0)=P_X(X=x_0)$$ 並且PMF滿足以下2個性質
   1. $0\le f_X(x)\le 1$，PMF在0和1的區間。
   2. $\sum _X{f}_X(x)=1$，所有
      $x$點的PMF總和為1。

PMF常使用單位脈衝來表示，假設有樣本點

$x_1,x_2,\dots$，則PMF

$f_X(x)=\sum c_n\delta (x-x_i)$。

2. 累積分布函數(CDF, cumulative distribution function)
   設離散型隨機變數
   $X$的PMF為
   $f_X(x)$，則CDF則是把
   $x_0$點以前(包括
   $x_0$該點)的機率"累積"起來。
   $$F_X(x_0)=P_X(X\le x_0)=\sum _{s\le x_0}{f}_X(s)$$ 離散型隨機變數的CDF具有以下7個性質
   1. $0\le F_X(x)\le 1$，由於所有
      $x$點的PMF總和為1，所以CDF最大值只會是1。
   2. $F_X(\mathrm{\infty })=P(x\le \mathrm{\infty })=1$為必然事件；
      $F_X(-\mathrm{\infty })=P(x\le -\mathrm{\infty })=0$為不可能事件。
   3. $x_1<x_2\to F_X(x_1)\le F_X(x_2)$，非遞減的階梯函數。
   4. $P(X=x_0)=f_X(x_0)=F_X(x)-\underset{ϵ\to 0}{lim}{F}_X(x-ϵ)$，欲求該點機率值，等於CDF的函數值減去左極限值。
   5. $P(X>x_0)=1-F_X(x_0)$，若原機率難求，可利用補事件的概念來求。
   6. $P(a<X\le b)=F_X(b)-F_X(a)$，需要注意
      $X$的範圍下限是開區間，上限是閉區間，可用CDF的定義
      $F_X(x_0)=P_X(X\le x_0)$去證明。
   7. 若離散型隨機變數的值域有樣本點
      $x_1,x_2,\dots$，則
      $F_X(x_i)=\underset{h\to 0}{lim}{F}_X(x_i+h),\mathrm{\forall }i=1,2,\dots$，代表離散型CDF右極限值等於函數值，屬於右連續函數。

---

連續型隨機變數

1. 機率密度函數(PDF, probability density function)
   給定連續型隨機變數

   $X$，且
   $S_X$是其值域，
   $E$為
   $S_X$的任一部分集合，則機率密度函數
   $f_X(x)$滿足
   $$P_X(E)={\int }_{x\in E}{f}_X(x)dx$$ PDF具有以下性質
   1. $f_X(x)\ge 0$，PDF在0以上，曲線高度可以大於1，因為不像離散型隨機變數一樣，連續型隨機變數的單點機率沒有意義。
   2. ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)dx=1$，所有
      $x$點積分起來的PDF總和為1。
   3. $P(x=x_0)={\int }_{x_0}^{x_0}f(x)dx=0$，單點機率為0，無任何意義。
   4. PDF本身不是機率，需要積分才有機率的意義，連續型隨機變數最基本的單位為
      $P(x_0<X\le x_0+dx)=f_X(x_0)dx$。
   5. 由於單點機率無意義，故機率上下限小於和小於等於，大於和大於等於同義，
      $P(a<X<b)=P(a\le X<b)=P(a<X\le b)=P(a\le X\le b)={\int }_a^b{f}_X(x)dx$。

2. 累積分布函數(CDF, cumulative distribution function)
   設連續型隨機變數

   $X$的PDF為
   $f_X(x)$，則CDF則是把
   $x_0$點以前的PDF"積分"起來。
   $$F_X(x_0)=P_X(X\le x_0)={\int }_{-\mathrm{\infty }}^x{f}_X(t)dt$$ 連續型隨機變數的CDF具有以下5個性質
   1. $0\le F_X(x)\le 1$，PDF
      $f_X(x)$與
      $x$軸所圍出來的區域面積最大為1。
   2. $F_X(\mathrm{\infty })=P(x\le \mathrm{\infty })=1$為必然事件；
      $F_X(-\mathrm{\infty })=P(x\le -\mathrm{\infty })=0$為不可能事件。
   3. $x_1<x_2\to F_X(x_1)\le F_X(x_2)$，非遞減的連續函數。
   4. $P(a<X\le b)=F_X(b)-F_X(a)$
   5. $\frac{d{F}_X(x)}{dx}=f_X(x)$，由微積分基本定理(一)可得對CDF微分為PDF。

---

離散型多隨機變數

在解題上，第一步是畫出結合機率分析表。

1. 結合機率質量函數(joint PMF, joint probability mass function)
   若有2個離散型的隨機變數

   $X,Y$，則JPMF在
   $x=x_0,y=y_0$的值為單點機率
   $$f_{X,Y}(x=x_0,y=y_0)=P_X(X=x_0,Y=y_0)$$ JPMF類似PMF滿足以下2個性質
   1. $0\le f_{X,Y}(x,y)\le 1$，JPMF在0和1的區間。
   2. $\sum _X\sum _Y{f}_{X,Y}(x,y)=1$，所有JPMF上二維單點機率總和為1。

2. 邊際機率質量函數(marginal PMF, marginal probability mass function)
   將不要的變數全部相加，將兩個隨機變數退化為一個隨機變數。

   $$\begin{gathered} f_X(x)=\sum _Y{f}_{X,Y}(x,y) \\ {f}_Y(y)=\sum _X{f}_{X,Y}(x,y) \end{gathered}$$ JPMF類似PMF滿足以下2個性質
   1. $0\le f_X(x),f_Y(y)\le 1$，MPMF在0和1的區間。
   2. $\sum _X{f}_X(x)=\sum _Y{f}_Y(y)=1$，退化後的MPMF即為一維的PMF，機率總和為1。

3. 結合累積分布函數(joint CDF, joint cumulative distribution function) 若有2個離散型的隨機變數

   $X,Y$，則JCMF
   $F_{X,Y}(x_0,y_0)$就是把二維點
   $(x_0,y_0)$以下的面積加起來，做機率累積
   $$F_{X,Y}(x_0,y_0)=P_X(X\le x_0,Y\le y_0)$$ JCDF具有以下4個性質
   1. $0\le F_{X,Y}(x,y)\le 1$，PDF所圍出來的區域面積最大為1。
   2. $F_{X,Y}(\mathrm{\infty },\mathrm{\infty })=P(x\le \mathrm{\infty },y\le \mathrm{\infty })=1$為必然事件；
      $F_{X,Y}(-\mathrm{\infty },-\mathrm{\infty })=P(x\le -\mathrm{\infty },y-\le \mathrm{\infty })=1$為不可能事件。
   3. $F_{X,Y}(-\mathrm{\infty },y)=0,F_{X,Y}(x,-\mathrm{\infty })=0$，帶回定義可以發現，
      $x,y$有一邊機率是0，為不可能事件。
   4. $F_{X,Y}(x,\mathrm{\infty })=F_X(x),F_{X,Y}(\mathrm{\infty },y)=F_Y(y)$，代表其中一個隨機變數都加完，退化為一個變數的CDF，稱為邊際累積分布函數(marginal CDF, marginal cumulative distribution function)。

---

連續型多隨機變數

在解題上，第一步是畫出值域

$S_{X,Y}$圖。

1. 結合機率密度函數(joint PDF, joint probability density function)
   給定連續型隨機變數

   $X,Y$，且
   $S$是其值域，
   $E$為
   $S$的任一部分集合，則機率密度函數
   $f_{X,Y}(x,y)$滿足
   $$P(E)=\int {\int }_{(x,y)\in E}{f}_{X,Y}(x,y)dxdy$$ PDF具有以下性質
   1. $f_{X,Y}(x,y)\ge 0$，JPDF在0以上，曲線高度可以大於1，因為不像離散型隨機變數一樣，連續型隨機變數的單點機率沒有意義。
   2. ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(x,y)dxdy=1$，所有
      $x,y$點雙重積分起來的JPDF總和為1。
   3. $P(x=x_0,y=y_0)={\int }_{x_0}^{x_0}{\int }_{y_0}^{y_0}f(x)dxdy=0$，單點機率為0，無任何意義。
   4. JPDF本身不是機率，需要積分才有機率的意義，連續型隨機變數最基本的單位為
      $P(x_0<X\le x_0+dx,y_0<Y\le y_0+dy)=f_{X.Y}(x_0,y_0)dxdy$。

2. 邊際機率密度函數(marginal PDF, marginal probability density function)
   將不要的變數全部積分起來，將兩個隨機變數退化為一個隨機變數。

   $$\begin{gathered} f_X(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(x,y)dy \\ {f}_Y(y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_{X,Y}(x,y)dx \end{gathered}$$ JPDF類似PDF滿足以下2個性質
   1. $f_X(x),f_Y(y)\ge 0$，PDF在0以上，曲線高度可以大於1，因為不像離散型隨機變數一樣，連續型隨機變數的單點機率沒有意義。
   2. ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)dx={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_Y(y)dy=1$，退化後的MPMF即為一維的PMF，機率總和為1。

3. 結合累積分布函數(joint CDF, joint cumulative distribution function)
   設連續型隨機變數

   $X,Y$的JPDF為
   $f_{X,Y}(x,y)$，則JCDF則是把
   $(x_0,y_0)$點以前的JPDF"積分"起來。
   $$F_{X,Y}(x_0,y_0)=P(X\le x_0,Y\le y_0)={\int }_{-\mathrm{\infty }}^x{\int }_{-\mathrm{\infty }}^y{f}_{X,Y}(s,t)dtds$$ 連續型隨機變數的JCDF具有以下6個性質
   1. $0\le F_{X,Y}(x,y)\le 1$，JPDF所圍出來的區域面積最大為1。
   2. $F_{X,Y}(\mathrm{\infty },\mathrm{\infty })=P(x\le \mathrm{\infty },y\le \mathrm{\infty })=1$為必然事件；
      $F_{X,Y}(-\mathrm{\infty },-\mathrm{\infty })=P(x\le -\mathrm{\infty },y-\le \mathrm{\infty })=1$為不可能事件。
   3. $F_{X,Y}(-\mathrm{\infty },y)=0,F_{X,Y}(x,-\mathrm{\infty })=0$，帶回定義可以發現，
      $x,y$有一邊機率是0，為不可能事件。
   4. $F_{X,Y}(x,\mathrm{\infty })=F_X(x),F_{X,Y}(\mathrm{\infty },y)=F_Y(y)$，代表其中一個隨機變數都積分完，退化為一個變數的CDF，稱為邊際累積分布函數(marginal CDF, marginal cumulative distribution function)。
   5. $\frac{\partial F_{X,Y}(x,y)}{\partial x\partial y}=f_{X,Y}(x,y)$，由微積分基本定理(一)可得對JCDF微分為JPDF。
   6. 可畫圖證明，記憶口訣是正正(起點、起點)得正、負負(終點、終點)得負
      $$\begin{array}{rl}P(a<X\le b,c<Y\le d)& ={\int }_a^b{\int }_c^d{f}_{X,Y}(x,y)dydx\\ & =F_{X,Y}(b,d)-F_{X,Y}(b,c)-F_{X,Y}(a,d)+F_{X,Y}(a,c)\end{array}$$

---

隨機向量

$n$個隨機變數，寫成向量的形式

$X=(X_1,X_2,\dots ,X_n{)}^T$，稱為隨機向量，若皆是連續型隨機變數，同理可定義JPDF、MPDF、JCDF、MCDF。

---

條件機率函數

若隨機變數

$X,Y$的結合機率函數

$f_{X,Y}(x,y)$、邊際機率函數

$f_X(x),f_Y(y)$則

• 離散型條件機率密度函數(conditional PMF)
  $$P_{X\mid Y}(x\mid y)=P(X=x\mid Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}=\frac{f_{X,Y}(x,y)}{f_Y(y)}$$
• 連續型條件機率機率函數(conditional PDF)
  $$\begin{array}{rl}& f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}\\ & P[x<X\le x+dx\mid y<Y\le y+dy]\\ & =\frac{P[x<X\le x+dx,y<Y\le y+dy]}{P[y<Y\le y+dy]}\\ & =\frac{f_{X,Y}(x,y)dxdy}{f_Y(y)dy}\\ & =f_{X\mid Y}(x\mid y)dx\end{array}$$

---

獨立隨機變數

給定隨機變數

$X_1,X_2,\dots ,X_n$, joint PDF

$f(X_1,X_2,\dots ,X_n)$, marginal PDF

$f(X_1),f(X_2),\dots ,f(X_n)$, joint CDF

$F(X_1,X_2,\dots ,X_n)$, marginal CDF

$F(X_1),F(X_2),\dots ,F(X_n)$

$$\begin{array}{rl}& \text{rv's }{X}_1,X_2,\dots ,X_n\text{ are independent}\\ \iff & f(X_1,X_2,\dots ,X_n)=f(X_1)f(X_2)\cdots f(X_n)\\ \iff & F(X_1,X_2,\dots ,X_n)=F(X_1)F(X_2)\cdots F(X_n)\end{array}$$

$n$個隨機變數獨立的定義為個別PDF(CDF)相乘等於聯合的PDF(CDF)，而ch1 獨立事件中

$n$個事件獨立的定義不僅需要

$n$個事件成對獨立，還需要兩兩事件成對獨立、三三事件成對獨立等，條件較為"嚴格"。欲快速判斷隨機變數

$X,Y$是否互為獨立，首先判斷

$X$與

$Y$的值域有無關聯，再來看joint PDF是否可以分離變數

$f_{X,Y}(x,y)\stackrel{?}{=}g(x)h(y)$。

---

ch3 期望值、變異數

綱要

• 一階(原點)動差 - 期望值、二階中心動差 - 變異數
• 動差形成函數(MGF)、特徵函數(CF)、機率質量/密度函數(PMF/PDF)三者關係
• 機率的比較隨機變數
  $X,Y$之間相關性的共變數與相關係數
• 獨立 ⇒ 不相關，but不相關 !⇒ 獨立
• 條件期望值

---

期望值(=平均數)

給定隨機變數

$X$與其PMF/PDF

$f_X(x)$，則

$g(x)$的期望值為

$$E[g(x)]\triangleq \{\begin{array}{l}\sum _{x\in S_X}g(x)f_X(x)\\ {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f_X(x)dx\end{array}$$ 由上式可知，期望值就是加權平均，這個權重就是機率分布函數。

---

變異數

給定隨機變數

$X$，其PMF/PDF

$f_X(x)$，則

$X$的變異數為

$$\mathrm{Var}(X)\triangleq E\{(X-{\mu }_X{)}^2\}=\{\begin{array}{l}\sum _{x\in S_x}(x-{\mu }_X{)}^2{f}_X(x)\\ {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-{\mu }_X{)}^2{f}_X(x)dx\end{array}$$ 變異數為將所有數值與平均值的誤差做平方再取期望值，稱為均方誤差(MSE - mean square error)，當隨機變數的PMF/PDF較鬆散時，變異數大；反之PMF/PDF較密集時，變異數小。進一步推導變異數

$$\begin{array}{rl}E\{(X-{\mu }_X{)}^2\}& =E\{X^2-2X{\mu }_X+{\mu }_x^2\}\\ & =E[X^2]-2E[X]\cdot {\mu }_X+{\mu }_X^2\\ & =E[X^2]-{\mu }_X^2\end{array}$$ 可以得到變異數較方便計算的公式 - 二階動差 - (一階動差)²。

由於變異數

$E\{(X-{\mu }_X{)}^2\}>0$，因此定義標準差為變異數的開根號

${\sigma }_X\triangleq \sqrt{\mathrm{Var}(X)}$。

---

動差形成函數(MGF)與特徵函數(CF)

如2022上一段日記 03/14(一)的動差形成函數與特徵函數，需要注意動差形成函數有收斂範圍(ROC)，而特徵函數則沒有。另外機率質量/密度函數

$f_X(x)$、特徵函數

$\mathrm{\Phi }(\omega )$、動差生成函數

$M_X(s)$這三者中只要知道任一項，即可求其他兩項(可被唯一決定)。

$$\begin{array}{rl}{\mathcal{L}}^{-1}& \downarrow \uparrow \mathcal{L}\\ & f_X(x)\to m_n={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^n{f}_X(x)dx\\ \mathcal{F}& \downarrow \uparrow {\mathcal{F}}^{-1}\\ & \mathrm{\Phi }(\omega )\to m_n=(-j{)}^n\frac{d^n\mathrm{\Phi }}{d{\omega }^n}{|}_{\omega =0}\\ \omega =\frac{s}{j}& \downarrow \uparrow s=j\omega \\ & M_X(s)\to m_n=\frac{d^{n}M(s)}{d{s}^n}{|}_{s=0}\end{array}$$ 其中Laplace Transform與Fourier Transform與工數的定義上差了一個負號，但這兩種定義是等效的。

$$\begin{array}{rl}{M}_X(s)& =\mathcal{L}\{f_X(x)\}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{sx}{f}_X(x)dx\\ \mathrm{\Phi }(\omega )& =\mathcal{F}\{f_X(x)\}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{j\omega x}{f}_X(x)dx\end{array}$$

---

期望值與變異數的性質

期望值屬於一階(原點)動差，因此具有線性運算的性質，即

$E[g(X)+h(Y)]=E[g(X)]+E[h(Y)]$，但是期望值的乘法不能拆開，只有在隨機變數

$X,Y$是獨立的條件下

$E[g(X)\cdot h(Y)]=E[g(X)]\cdot E[h(Y)]$。

線性代數篇 ch6 範數(norm)介紹線性代數版的柯西不等式，也有個機率版的柯西不等式，證明為令新的隨機變數

$Z=Y-\lambda X,\mathrm{\forall }\lambda \in R$，並計算

$E[Z^2]$

$$E[XY{]}^2\le E[X^2]E[Y^2]$$ 當

$P[Y=\alpha X]=1$時，"="才會成立。

變異數為二階中心動差，與期望值不同，不具有線性運算，而變異數的其他性質為

$$\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$$

---

共變數(=協方差)(covariance)

給定隨機變數

$X,Y$與平均值

${\mu }_X,{\mu }_Y$，則共變數

$$\mathrm{Cov}(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]={\sigma }_{XY}$$ 其意義在於比較隨機變數

$X,Y$之間的相關性，

$\mathrm{Cov}(X,Y)>0$代表正相關、

$\mathrm{Cov}(X,Y)<0$代表負相關、

$\mathrm{Cov}(X,Y)=0$代表不相關。
進一步推導

$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E[(X-{\mu }_X)(Y-{\mu }_Y)]\\ & =E[XY-{\mu }_{X}Y-{\mu }_{Y}X+{\mu }_X{\mu }_Y]\\ & =E[XY]-{\mu }_{X}E[Y]-{\mu }_{Y}E[X]+{\mu }_X{\mu }_Y\\ & =E[XY]-{\mu }_X{\mu }_Y\end{array}$$ 可以得到共變數較方便計算的公式。
與變異數做比較

$$\begin{array}{rl}\mathrm{Var}(X)& \triangleq E\{(X-{\mu }_X)(X-{\mu }_X)\}\\ & =E[X^2]-{\mu }_X^2\\ & =\mathrm{Cov}(X,X)={\sigma }_X^2\ge 0\end{array}$$ 可以發現變異數就是自己跟自己的共變數，代表比較自己跟自己的關係。

---

相關係數(correlation coefficients)

共變數可以判斷兩隨機變數

$X,Y$的相關性，但只能定性，不能定量，需要除以各自隨機變數的標準差，得到定量的相關係數。

$${\rho }_{XY}\triangleq \frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E[XY]-{\mu }_X{\mu }_Y}{\sqrt{E[X^2]-{\mu }_X^2}\sqrt{E[Y^2]-{\mu }_Y^2}}$$ 性質 - 相關係數指介於-1到1之間，即

$-1\le {\rho }_{XY}\le 1$。

$$\begin{array}{rl}& \text{set }U=X-{\mu }_X,V=Y-{\mu }_Y\\ & E[UV{]}^2\le E[U^2]E[V^2]\dots \text{Cauchy–Schwarz inequality}\\ \Rightarrow & \mathrm{Cov}(X,Y{)}^2\le \mathrm{Var}(X)\mathrm{Var}(Y)\\ \Rightarrow & {\left(\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}\right)}^2={\rho }_{XY}^2\le 1\\ \Rightarrow & -1\le {\rho }_{XY}\le 1\end{array}$$

---

獨立 ⇒ 不相關，but不相關 !⇒ 獨立

$$\begin{array}{rl}& X,Y\text{ are uncorrelated}\\ \iff & \mathrm{Cov}(X,Y)=0\\ \iff & {\rho }_{XY}=0\\ \iff & E[XY]=E[X]E[Y]\\ & X,Y\text{ are independent}\\ \iff & f_{X,Y}(x,y)=f_X(x)f_Y(y)\\ \iff & F_{X,Y}(x,y)=F_X(x)F_Y(y)\\ \iff & E[g(X)h(Y)]=E[g(X)]E[h(Y)]\end{array}$$ 由獨立與不相關等效的第3的定義可知，獨立是任意

$g(X),h(Y)$的

$n$階動差都可拆開，等效於

$M(s_1,s_2)=M_X(s_1)\cdot M_Y(s_2)$，而不相關是僅有一階動差能拆開

$E[XY]=E[X]E[Y]$，因此獨立可以推得不相關，但不相關無法推得獨立。

但有兩個例外(獨立與不相關等價)

1. 二位元傳輸 - 隨機變數
   $X,Y$，其值域為
   $S_X=\{0,1\}=S_Y$
2. 高斯分布 - 隨機變數
   $X,Y\sim$ joint Gaussian distribution

---

共變數矩陣(covariance matrix)

將共變數推廣至

$n$個隨機變數。給定隨機向量

$\mathbf{X}$與平均值向量

${\mu }_X$

$$\mathbf{X}=\left[\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_n\end{array}\right],{\mu }_X=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_n\end{array}\right]$$ 共變數矩陣

$$\begin{array}{rl}\mathrm{Cov}(\mathbf{X})& \triangleq E[(\mathbf{X}-{\mu }_X)(\mathbf{X}-{\mu }_X{)}^T]\\ & =E[\mathbf{X}{\mathbf{X}}^T]-{\mu }_X{\mu }_X^T\\ & =\left[\begin{array}{cccc}{\sigma }_{X_1}^2& {\sigma }_{X_1{X}_2}& \cdots & {\sigma }_{X_1{X}_n}\\ {\sigma }_{X_2{X}_1}& {\sigma }_{X_2}^2& \cdots & {\sigma }_{X_2{X}_n}\\ ⋮& ⋮& \ddots & ⋮\\ {\sigma }_{X_n{X}_1}& {\sigma }_{X_n{X}_2}& \cdots & {\sigma }_{X_n}^2\end{array}\right]\end{array}$$ 共變數矩陣有兩個重要的特性

1. 實對稱
   ${\sigma }_{X_1{X}_2}={\sigma }_{X_2{X}_1},\dots$
2. 半正定
   $v^{T}Cv=E[v^{T}x{x}^{T}v]=E[(v^{T}x{)}^2]\ge 0$

---

條件期望值

給定隨機變數

$X,Y$與其PMF/PDF

$f_{X,Y}(x,y)$

$$\begin{gathered} E[g(X)\mid y]\triangleq \{\begin{array}{l}\sum _{x\in S_X}g(x)f(x\mid y)\\ {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x\mid y)dx\end{array} \\ E[g(Y)\mid x]\triangleq \{\begin{array}{l}\sum _{y\in S_Y}g(y)f(y\mid x)\\ {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(y)f(y\mid x)dx\end{array} \end{gathered}$$ 其中

$E[g(X)\mid y]$為取

$g(x)$這個函數的期望值，故先把這個函數拿進來；而期望值是作加權平均，這個權重在此就是條件機率函數

$f(x\mid y)$，並對要做期望值的函數做相加/積分，也就是

$x$的函數。

可以觀察上式條件期望值就是條件

$y$的函數，當條件

$y$改變時，樣本空間改變，因此機率分布，也就是

$x$的範圍改變，最終期望值跟著改變。

$$E[E[g(X)\mid Y]]=E[g(X)]$$ 口訣為條件期望值做兩次，則條件可以拿掉。證明如下

$$\begin{array}{rl}E[g(X)\mid Y]& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x\mid y)dx\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)\frac{f_{X,Y}(x,y)}{f_Y(y)}dx\\ & =W(y)\text{a funtion of }y\\ E[E[g(X)\mid Y]]& =E[W(y)]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}W(y)f_Y(y)dy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}[{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)\frac{f_{X,Y}(x,y)}{f_Y(y)}dx]f_Y(y)dy\\ & {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f_{X,Y}(x,y)dxdy\\ & =E[g(X)]\end{array}$$

---

ch4 變數變換

綱要

• 單->單變數變換(連續型)的累積函數法、分割區間法
• 雙->單變數變換(連續型)的累積函數法、公式法、動差法
• 雙->雙變數變換(連續型)的雙變數轉換法
• 聯合/邊際動差形成函數(JMGF/MMGF)與聯合/邊際特徵函數(JCF/MCF)
• 隨機變數獨立的等價條件
• 極值分布

---

變數變換

變數變換為機率的轉移，將舊的隨機變數

$X$對應到新的隨機變數

$Y$，把那些機率合併起來，轉為

$Y$的機率。

$$S_X\stackrel{g(X)=Y}{⟶}{S}_Y$$

---

單->單變數變換(連續型)法1 - 累積函數法

題目給定新的隨機變數

$Y=g(X)$，欲求其PDF

$f_Y(y)$。由於連續型的PDF不具有機率的意義，故先求CDF，透過反函數求得與

$X$的關係，最後再微分得PDF。

$$\begin{array}{rl}{F}_Y(y)& \triangleq P(Y\le y)=P(g(X)\le y)\\ & =\{\begin{array}{ll}P(X\le g^{-1}(y))& g(x)\text{ is increment function}\\ P(X\ge g^{-1}(y))& g(x)\text{ is decreasing function}\end{array}\\ & =\{\begin{array}{l}{\int }_{-\mathrm{\infty }}^{g^{-1}(y))}{f}_X(x)dx\\ {\int }_{g^{-1}(y))}^{\mathrm{\infty }}{f}_X(x)dx\end{array}\\ f_Y(y)& =\frac{d}{dy}{F}_Y(y),y\in S_Y\end{array}$$

---

單->單變數變換(連續型)法2 - 分割區間法

法1無法計算，為理論證明，法2偏向一般的計算考題 - 給定題目為非單調函數，解題步驟有以下3步

1. 繪製
   $Y=g(X)$，將圖形切割成數段單調函數區間
   $Z_i$。
2. 在每一單調區間
   $Z_i$，計算
   $f_{Y_i}(y)$，需要注意遞減函數需要加上絕對值，避免產生負號。
   $$f_{Y_i}(y)|dy|=f_X(x)dx\Rightarrow f_{Y_i}(y)=f_X(x)|\frac{dx}{dy}|=f_X(g_i^{-1}(y))|\frac{d(g_i^{-1}(y))}{dy}|$$
3. 將分段的
   $f_{Y_i}(y)$相加，需要注意"相同值域"的
   $f_{Y_i}(y)$才能相加。
   $$f_Y(y)=\sum _{i=1}^n{f}_{Y_i}(y),y\in S_Y$$

---

雙->單變數變換

$Z=g(X,Y)$(離散型)

題目較連續型簡單，也較少，直接求

$Z$的單點機率即可，繪製

$S_X,S_Y,g(X,Y)=z$值域圖，決定值域

$S_Z$與累積區域

$R$，最後進行累加

$$P_Z(z)=P(Z=z)=P(g(X,Y)=z)=\sum _x\sum _y{f}_{X,Y}(x,y),z\in R$$

---

雙->單變數變換

$Z=g(X,Y)$(連續型)法1 - 累積函數法

繪製

$S_X,S_Y,g(X,Y)=z$值域圖，決定值域

$S_Z$與累積區域

$R$，最後進行積分

$$\begin{array}{rl}{F}_Z(z)& \triangleq P(Z\le z)\\ & =P(g(X,Y)\le z)\\ & =\int {\int }_R{f}_{X,Y}(x,y)dxdy\\ f_Z(z)& =\frac{d{F}_Z(z)}{dz},z\in S_Z\end{array}$$

---

雙->單變數變換

$Z=g(X,Y)$(連續型)法2 - 公式法

以下3步為公式記憶的方式

1. 首先觀察
   $f_Z(z)$單位
   $1/m$與
   $f_{X,Y}(x,y)$單位
   $1/m^2$不合，因此在不失一般性之下對
   $y$做積分。
2. 將
   $x$換成
   $y,z$的函數，即
   $x=g(y,z)$。
3. 由於第二步
   $x$做變數變換，因此需要乘上面積元素間的倍率，也就是Jacobian matrix
   $|\frac{\partial x}{\partial z}|$。
   $$\begin{array}{rlr}& Z=X+Y& f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_{X,Y}(x=z-y,y)dy\\ & Z=X-Y& f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_{X,Y}(x=z+y,y)dy\\ & Z=XY& f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{|y|}\cdot f_{X,Y}(x=\frac{z}{y},y)dy\\ & Z=\frac{X}{Y}& f_Z(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|y|\cdot f_{X,Y}(x=zy,y)dy\end{array}$$ 需要注意第4個公式要積分在分母的變數，計算上較容易。
4. 要善用步階函數
   $H(\cdot )$來處理
   $S_X,S_Y$值域問題。

只證明公式法第1點，其他證明略省

$$\begin{array}{rl}{F}_Z(z)& =P(Z\le z)\\ & =P(X+Y\le z)\\ & =\int {\int }_R{f}_{X,Y}(x,y)dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{Z-Y}{f}_{X,Y}(x,y)dxdy\\ f_Z(z)& =\frac{d{F}_Z(z)}{dz}\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{d}{dz}({\int }_{-\mathrm{\infty }}^{Z-Y}{f}_{X,Y}(x,y)dx)dy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|\frac{\partial (z-y)}{\partial z}|f_{X,Y}(x=z-y,y)dy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_{X,Y}(x=z-y,y)dy\end{array}$$

---

雙->單變數變換

$Z=g(X,Y)$(連續型)法3 - 動差法

給定隨機變數

$X,Y$彼此獨立，而

$Z=X+Y$，若PDF分別為

$f_X(z),f_Y(z)$，MGF分別為

$M_X(s),M_Y(s)$，CF分別為

${\varphi }_X(\omega ),{\varphi }_Y(\omega )$，則

1. $f_Z(z)=f_X(z)\ast f_Y(z)$
2. $M_Z(s)=M_X(s)\cdot M_Y(s)$
3. ${\varphi }_Z(\omega )={\varphi }_X(\omega )\cdot {\varphi }_Y(\omega )$

第1點證明從法2 - 公式法出發

$$\begin{array}{rl}Z=X+Y,{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_{X,Y}(x=z-y,y)dy& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_X(z-y)f_Y(y)dy\\ & =f_X(z)\ast f_Z(z)\\ Z=X-Y,{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_{X,Y}(x=z+y,y)dy& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}1\cdot f_X(z+y)f_Y(y)dy\\ & =f_X(-z)\ast f_Z(-z)\end{array}$$ 第2點證明複習ch3 獨立 ⇒ 不相關，but不相關 !⇒ 獨立兩隨機變數獨立的等價條件

$E[g(X)h(Y)]=E[g(X)]E[h(Y)]$

$$M_Z(s)=E[e^{s(X+Y)}]=E[e^{sX}\cdot e^{sY)}]=E[e^{sX}]\cdot E[e^{sY)}]=M_X(s)\cdot M_Y(s)$$ 特徵函數同理動差生成函數的推法

$${\varphi }_Z(\omega )=E[e^{j\omega (X+Y)}]=E[e^{j\omega X}\cdot e^{j\omega Y}]=E[e^{j\omega X}]\cdot E[e^{j\omega Y}]={\varphi }_X(\omega )\cdot {\varphi }_Y(\omega )$$ 由Laplace Transform與Fourier Transform的性質互推這3點的性質

$$\begin{gathered} M_Z(s)=\mathcal{F}\{f_Z(z)\}=\mathcal{F}\{f_X(z)\ast f_Y(z)\}=\mathcal{F}\{f_X(z)\}\cdot \mathcal{F}\{f_Y(z)\}=M_X(s)\cdot M_Y(s) \\ {\varphi }_Z(\omega )=\mathcal{L}\{f_Z(z)\}=\mathcal{L}\{f_X(z)\ast f_Y(z)\}=\mathcal{L}\{f_X(z)\}\cdot \mathcal{L}\{f_Y(z)\}={\varphi }_X(\omega )\cdot {\varphi }_Y(\omega ) \end{gathered}$$

---

雙->雙變數變換

$U=g(X,Y),V=h(X,Y)$(連續型)

1. 將
   $U=g(x,y),V=h(x,y)$求取反函數
   $X=\varphi (u,v),Y=\xi (u,v)$這4個條件決定值域
   $S_U,S_V$。
2. $f_{U,V}(u,v)=f_{X,Y}(x=\varphi (u,v),y=\xi (u,v))|J|$，做變數變換時需要乘上Jacobian。
   考慮積分一小塊JPDF才具有機率的意義，避免遞減函數讓面積產生負號，故加上絕對值
   $$f_{X,Y}|dxdy|\leftrightarrow f_{U,V}(u,v)|dudv|$$ 其中微小面積
   $|dxdy|$與
   $|dudv|$之間的比值稱為Jacobian
   $$dxdy=|J|dudv,|J|=|\frac{\partial (x,y)}{\partial (u,v)}|=|\left|\begin{array}{cc}\frac{\partial x}{\partial u}& \frac{\partial x}{\partial v}\\ \frac{\partial y}{\partial u}& \frac{\partial y}{\partial v}\end{array}\right||$$

---

聯合/邊際動差形成函數(JMGF/MMGF)與聯合/邊際特徵函數(JCF/MCF)

ch3 動差形成函數(MGF)與特徵函數(CF)定義動差形成函數與特徵函數，給定隨機變數

$X,Y$的JPDF

$f_{X,Y}(x,y)$，在此定義聯合動差形成函數(JMGF)

$$M(s_1,s_2)=E[e^{s_{1}X+s_{2}Y}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{s_{1}x}{e}^{s_{2}y}{f}_{X,Y}(x,y)dxdy$$ 上式即為

$2$維的Laplace Transform。若令

$s_1=0$或是

$s_2=0$，則JMGF會退化為單變數的邊際動差形成函數(MMGF)

$$M_X(s_1)=M(s_1,0)=E[e^{s_{1}X+0}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{s_{1}x}{f}_{X,Y}(x,y)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{s_{1}x}{f}_X(x)dx$$ 欲計算

$X$與

$Y$各階聯合動差

$$E[X^m{Y}^n]=\frac{{\partial }^{m+n}}{{\partial }_{s_1}^m{\partial }_{s_2}^n}M(s_1,s_2){|}_{s_1=s_2=0}$$
同理可定義聯合特徵函數(JCF)

$$\varphi ({\omega }_1,{\omega }_2)=E[e^{j{\omega }_{1}X+j{\omega }_{2}Y}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{j{\omega }_{1}x}{e}^{j{\omega }_{2}y}{f}_{X,Y}(x,y)dxdy$$ 上式即為

$2$維的Fourier Transform。若令

${\omega }_1=0$或是

${\omega }_2=0$，則JCF會退化為單變數的邊際特徵函數(MCF)

$$\varphi ({\omega }_1)=\varphi ({\omega }_1,0)=E[e^{j{\omega }_{1}X+0}]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{j{\omega }_{1}x}{f}_{X,Y}(x,y)dxdy={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{j{\omega }_{1}x}{f}_X(x)dx$$ 欲計算

$X$與

$Y$各階聯合動差

$$E[X^m{Y}^n]=(-j{)}^{m+n}\frac{{\partial }^{m+n}}{{\partial }_{{\omega }_1}^m{\partial }_{{\omega }_2}^n}\varphi ({\omega }_1,{\omega }_2){|}_{{\omega }_1={\omega }_2=0}$$

---

隨機變數獨立的等價條件

可擴充ch3 獨立 ⇒ 不相關，but不相關 !⇒ 獨立中隨機變數獨立的等價條件

$$\begin{array}{rl}& X,Y\text{ are independent}\\ \iff & f_{X,Y}(x,y)=f_X(x)\cdot f_Y(y)& \text{JPDF = MPDF · MPDF}\\ \iff & F_{X,Y}(x,y)=F_X(x)\cdot F_Y(y)& \text{JCDF = MCDF · MCDF}\\ \iff & E[g(X)\cdot h(Y)]=E[g(X)]\cdot E[h(Y)]\\ \iff & f_{X\mid Y}(x\mid y)=f_X(x)\\ \iff & f_{X\mid Y}(x\mid y)=f_Y(y)\\ \iff & M(s_1,s_2)=M_X(s_1)\cdot M_Y(s_2)& \text{JMGF = MMGF · MMGF}\\ \iff & \varphi ({\omega }_1,{\omega }_2)={\varphi }_X({\omega }_1)\cdot {\varphi }_Y({\omega }_2)& \text{JCF = MCF · MCF}\end{array}$$ 式(3)證明

$p\Rightarrow q$，同理式(6)、式(7)

$$\begin{array}{rl}E[g(X)\cdot h(Y)]& \triangleq {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)h(y)f_{X,Y}(x,y)dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)h(y)f_X(x)\cdot f_Y(y)dxdy\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f_X(x)dx\cdot {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}h(y)f_Y(y)dx\\ & =E[g(X)]\cdot E[h(Y)]\end{array}$$ 式(4)證明

$p\Rightarrow q$，同理式(5)

$$\begin{array}{rl}{f}_{X\mid Y}(x\mid y)& \triangleq \frac{f_{X,Y}(x,y)}{f_Y(y)}\\ & =\frac{f_X(x)\cdot f_Y(y)}{f_Y(y)}\\ & =f_X(x)\end{array}$$

---

極值分布

給定

$n$個隨機變數

$X_1,X_2,\dots ,X_n$獨立且其PDF為

$f_1(x_1),\dots ,f_n(x_n)$、CDF為

$F_1(x_1),\dots ,F_n(x)$。給定新的隨機變數為

$$Y=max(X_1,X_2,\dots ,X_n),Z=min(X_1,X_2,\dots ,X_n)$$ 求

$f_Y(y),f_Z(z)$。

解題步驟為先求CDF，並利用隨機變數獨立的性質將JCDF拆分為MCDF。

$$\begin{array}{rl}{F}_Z(z)& =P(Z\le z)\\ & =P(min(X_1,\dots ,X_n)\le z)\\ & =1-P(min(X_1,\dots ,X_n)>z)\\ & =1-P(X_1>z,X_2>z,\dots ,X_n>z)\\ & =1-P(X_1>z)\cdot P(X_2>z)\cdots P(X_n>z)\\ & =1-({\int }_z^{\mathrm{\infty }}{f}_1(x_1)d{x}_1)\cdot ({\int }_z^{\mathrm{\infty }}{f}_2(x_2)d{x}_2)\cdots ({\int }_z^{\mathrm{\infty }}{f}_n(x_n)d{x}_n)\end{array}$$ 再來連續型對CDF微分就是PDF、離散型CDF相減就是PMF。

$$\begin{array}{rl}{P}_Z(z)& =F_Z(z)-F_Z(z-1)\\ f_Y(z)& =\frac{d{F}_Z(z)}{dz}\end{array}$$

---

ch5 離散型機率變數模型

綱要

• 白努利分布 (1次白努利試驗)
• 二項分布 (n次白努利試驗)
• 波松分布 (二項分布的特例使
  $n\to \mathrm{\infty },p\to 0,np\triangleq \lambda$)
• 波松程序 (波松分布的廣義結果)
• 幾何分布 (第1次成功為止)
• 負二項分布 (第r次成功為止)
• 多項式分布 (k個結果的多項試驗)

---

白努利試驗(Bernoulli Trial)

ch1 隨機試驗與機率空間中定義的隨機試驗，滿足3個條件

1. 結果只有2種
2. 每次試驗彼此獨立
3. 每次試驗機率相同

舉例來說丟銅板、取後放回的隨機取球。

---

白努利分布(Bernoulli Distribution)/兩點分布(Two-point Distribution)

$X\sim B(1,p)$

執行

$1$次白努利試驗，成功的機率為

$p$，令隨便變數

$X$為成功的次數，則白努利分布的PMF為

$$f_X(x)=p^x(1-p{)}^{1-x},S_X=\{0,1\}$$ 白努利分布即為執行一次白努利試驗，也就是二項分布在

$n=1$的特例，記為

$X\sim B(1,p)$。

依序計算白努利分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{m}_x(t)& =E[e^{tX}]\\ & =e^{t(0)}P(X=0)+e^{t(1)}P(X=1)\\ & =1\cdot (1-p)+p\cdot e^t\\ & =1-p+p{e}^t\\ E[X]& =1\cdot P(X=1)+0\cdot P(X＝0)\\ & =p\\ E[X^n]& =1^n\cdot P(X=1)+0^n\cdot P(X＝0)\\ & =p\\ \mathrm{Var}(X)& =E[X^2]-(E[X]{)}^2\\ & =p-p^2\\ & =p(1-p)\end{array}$$

---

二項分布(binomial distribution)

$X\sim B(n,p)$

執行

$n$次白努利試驗，成功的機率為

$p$，令隨機變數

$X$為成功的次數，則二項分布的PMF為

$$f_X(x)=C_x^n{p}^x(1-p{)}^{n-x},S_X=\{0,1,2,\dots ,n\}$$ 首先先排座位，挑選

$x$次成功次數，即為

$C_x^n$，再入座機率。

檢驗上式是否符合PMF總和機率為1的條件，使用到ch1 排列組合中的二項式展開。

$$\sum _{x\in S_X}{f}_X(x)=\sum _{x=0}^n{C}_x^n{p}^x(1-p{)}^{n-x}=(p+1-p{)}^n=1$$ 依序計算白努利分布的動差生成函數、期望值、變異數(期望值、變異數另一種算法 - MGF取ln再微分)，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & =\sum _{x=0}^n{e}^{tx}{f}_X(x)\\ & =\sum _{x=0}^n{e}^{tx}{C}_x^n{p}^x(1-p{)}^{n-x}\\ & =\sum _{x=0}^n{C}_x^n(p{e}^t{)}^x(1-p{)}^{n-x}\\ & =(1-p+p{e}^t{)}^n\because (x+y{)}^n=\sum _{k=0}^n{C}_k^n{x}^k{y}^{n-k}\\ \ln M_X(t)& =n\ln (1-p+p{e}^t)\\ E[X]& =\frac{d[\ln M_X(t)]}{dt}{|}_{t=0}\\ & =n\cdot \frac{p{e}^t}{1-p+p{e}^t}{|}_{t=0}\\ & =np\\ \mathrm{Var}(X)& =\frac{d^2[\ln M_X(t)]}{d{t}^2}{|}_{t=0}\\ & =np\cdot \frac{e^t(1-p+p{e}^t)-(e^t)(p{e}^t)}{(1-p+p{e}^t{)}^2}{|}_{t=0}\\ & =np(1-p)\end{array}$$ 最後探討模型之間的關係

1. 若
   $n$個白努利分布的隨機變數獨立且同分布(iid)，則隨機變數相加為二項分布。
   $$X_1,X_2,\dots ,X_n,\text{ where }{X}_i\sim B(1,p)\stackrel{\text{iid}}{⟶}X=X_1+X_2+\cdots +X_n\sim B(n,p)$$ 由二項定義為執行
   $n$次白努利試驗，白努利分布為執行
   $1$次白努利試驗。
2. 獨立的二項分布相加還是二項分布。
   $$X_1\sim B(n_1,p),X_2\sim B(n_2,p)\stackrel{\text{independent}}{⟶}X=X_1+X_2\sim B(n_1+n_2,p)$$ 可視為前
   $n_1$次白努利試驗，加上後
   $n_2$次白努利試驗。

---

波松分布(Poisson distribution)

$X\sim Po(\lambda ),\lambda \triangleq np$

當二項分布白努利試驗次數趨近無限大

$n\to \mathrm{\infty }$(一般

$n\ge 30$)，成功機率

$p\to 0$(一般

$p\le 10$)，而期望值

$E[X]=np\triangleq \lambda$趨於定值

$$\begin{array}{rl}{f}_X(x)& =C_x^n{p}^x(1-p{)}^{n-x}\\ & =\frac{n!}{x!(n-x)!}{\left(\frac{\lambda }{n}\right)}^x(1-\frac{\lambda }{n}{)}^{n-x}\\ & =\frac{{\lambda }^x}{x!}\left(\frac{n\cdot (n-1)\cdots (n-k+1)}{n\cdot n\cdots n}\right){(1-\frac{\lambda }{n})}^n{(1-\frac{\lambda }{n})}^{-k}\end{array}$$ 將三式的

$n\to \mathrm{\infty }$後分別為

$$\begin{array}{rl}& \underset{n\to \mathrm{\infty }}{lim}\left(\frac{n\cdot (n-1)\cdots (n-k+1)}{n\cdot n\cdots n}\right)=1\cdot 1\cdots 1=1\\ & \underset{n\to \mathrm{\infty }}{lim}{(1-\frac{\lambda }{n})}^n=\underset{n\to \mathrm{\infty }}{lim}{(1+\frac{(-\lambda )}{n})}^n=e^{-\lambda }\\ & \underset{n\to \mathrm{\infty }}{lim}{(1-\frac{\lambda }{n})}^{-k}=(1{)}^{-k}=1\end{array}$$ 最後得波松分布的PMF為

$$f_X(x)=\frac{e^{-\lambda }{\lambda }^x}{x!},S_X(x)=\{0,1,2,\dots ,n\},\lambda \triangleq np$$ 舉例來說，在通訊傳輸，一次傳輸的bit十分巨大

$n=100k$，且錯誤率極小

$p={10}^{-6}$，透過波松分布就可近似二項分布。

$$C_x^n{p}^x(1-p{)}^{n-x}\approx \frac{e^{-\lambda }{\lambda }^x}{x!},\lambda \triangleq np$$ 檢驗上式是否符合PMF總和機率為1的條件，使用到微積分自然對數的泰勒展開式。

$$\sum _{x\in S_X}{f}_X(x)=\sum _{x=0}^n\frac{e^{-\lambda }{\lambda }^x}{x!}=e^{-\lambda }\sum _{x=0}^n\frac{{\lambda }^x}{x!}=e^{-\lambda }\cdot e^{\lambda }=1$$ 依序計算波松分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & =\sum _{x=0}^n{e}^{tx}{f}_X(x)\\ & =\sum _{x=0}^n{e}^{tx}\frac{e^{-\lambda }{\lambda }^x}{x!}\\ & =e^{-\lambda }\sum _{x=0}^n\frac{(\lambda e^t{)}^x}{x!}\\ & =e^{-\lambda }{e}^{\lambda e^t}\because e^k=\sum _{n=0}^n\frac{k^n}{n!}\\ & =e^{\lambda (e^t-1)}\\ \ln M_X(t)& =\lambda (e^t-1)\\ E[X]& =\frac{d[\ln M_X(t)]}{dt}{|}_{t=0}\\ & =\lambda e^t{|}_{t=0}\\ & =\lambda \\ \mathrm{Var}(X)& =\frac{d^2[\ln M_X(t)]}{d{t}^2}{|}_{t=0}\\ & =\lambda e^t{|}_{t=0}\\ & =\lambda \end{array}$$ 最後探討模型之間的關係，獨立的波松分布相加還是波松分布。

$$X_1\sim Po({\lambda }_1),X_2\sim Po({\lambda }_2)\stackrel{\text{independent}}{⟶}X=X_1+X_2\sim Po({\lambda }_1+{\lambda }_2)$$ 由於波松分布是二項分布的特例，因此"繼承"二項分布的模型之間的關係。

---

波松程序(Poisson process) - 與時間有關

已知在

$(0,T)$區間時間內共發生

$n$個事件，則在

$(t_1,t_2)$區間的

$t$時間內發生

$x$個點(

$x<n$)的機率為何?
假設隨機程序為stationary，代表機率與絕對時間無關，只與相對時間長短有關，

$1$個點落在

$(t_1,t_2)$內的機率為

$$\begin{array}{}\text{(1)}& p=\frac{t}{T}\end{array}$$ 則

$x$個點落在

$t$的機率則為二項分布，假設將時間切割很細，切成每一小區段機率

$p$很低的白努利分布，因此

$n\gg 1,T\gg t$，二項分布可近似於Poisson分布

$$\begin{array}{}\text{(2)}& C_x^n{p}^x(1-p{)}^{n-x}\approx \frac{e^{-np}(np{)}^x}{x!}\end{array}$$ 將式(1)帶入式(2)，並定義單位時間的平均發生率

$\lambda =\frac{n}{T}$，可得在

$(0,t)$時間內發生的次數

$x$

$$P(X=x)=\frac{e^{-n\frac{t}{T}}(n\frac{t}{T}{)}^x}{x!}=\frac{e^{-\lambda t}(\lambda t{)}^x}{x!}\sim Po(\lambda t)$$ 其中隨機程序

$X$就是波松程序，可以視為Poisson分布的廣義結果，Poisson分布就是波松程序在

$t=1$時的特例。

---

幾何分布(Geometric distribution)

$X\sim G(p)$

執行一連串成功機率

$p$的白努利試驗，直到第

$1$次成功為止的機率，為負二項分布在成功次數

$r=1$時的特例。有兩種可能的隨機變數

1. 令直到第
   $1$次成功為止的執行次數
   $X$
   $$f_X(x)=1\cdot p(1-p{)}^{x-1},S_X=\{1,2,\dots \}$$ 先排座位，前面
   $x-1$項都是失敗，而最後一項是成功，因此只有一種可能，後入座機率。會稱為幾何分布，是因為
   $f_X(x)$具有幾何級數(geometric progression，又稱等比級數)的外型。
2. 令直到第
   $1$次成功為止的失敗次數
   $Y=X-1$
   $$f_Y(y)=1\cdot p(1-p{)}^y,S_Y=\{0,1,\dots \}$$ 單純轉換變數。
   檢驗幾何分布(執行次數
   $X$)是否符合PMF總和機率為1的條件，使用到等比級數。
   $$\sum _{x\in S_X}{f}_X(x)=\sum _{x=0}^{n}p(1-p{)}^{x-1}=p+p(1-p)+p(1-p{)}^2+\cdots =\frac{p}{1-(1-p)}=1$$ 依序計算幾何分布(失敗次數
   $Y$)的動差生成函數、期望值、變異數，這三個重要的參數。
   $$\begin{array}{rl}{M}_Y(t)& =E[e^{tY}]\\ & =\sum _{y=0}^n{e}^{ty}{f}_Y(y)\\ & =\sum _{y=0}^n{e}^{ty}p(1-p{)}^y\\ & =p\sum _{y=0}^n((1-p)e^t{)}^y\\ & =p\left(\frac{1}{1-(1-p)e^t}\right),|(1-p)e^t|<1\Rightarrow e^t<\frac{1}{1-p}\\ & =\frac{p}{1-(1-p)e^t},t>\ln (\frac{1}{1-p})\\ \ln M_Y(t)& =\ln p-\ln (1-(1-p)e^t)\\ E[Y]& =\frac{d[\ln M_Y(t)]}{dt}{|}_{t=0}\\ & =\frac{(1-p)e^t}{1-(1-p)e^t}{|}_{t=0}\\ & =\frac{1-p}{1-1+p}\\ & =\frac{1-p}{p}\\ \mathrm{Var}(Y)& =\frac{d^2[\ln M_Y(t)]}{d{t}^2}{|}_{t=0}\\ & =\frac{[(1-p)e^t][1-(1-p)e^t]-[(1-p)e^t][-(1-p)e^t]}{(1-(1-p)e^t{)}^2}{|}_{t=0}\\ & =\frac{(1-p)p+(1-p{)}^2}{p^2}\\ & =\frac{1-p}{p^2}\end{array}$$ 由於失敗次數
   $Y$加上成功次數
   $1$等於執行次數
   $X$，記為
   $X=Y+1$，因此
   $$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & =E[e^{t(Y+1)}]\\ & =M_Y(t)e^t\\ E[X]& =E[Y]+1\\ \mathrm{Var}(X)& =\mathrm{Var}(Y)\end{array}$$

---

負二項分布(Negative binomial distribution)

$X\sim NB(p)$

執行一連串成功機率

$p$的白努利試驗，直到第

$r$次成功為止的機率。有兩種可能的隨機變數

1. 令直到第
   $r$次成功為止的執行次數
   $X$
   $$f_X(x)=C_{r-1}^{x-1}\cdot p^r(1-p{)}^{x-r},S_X=\{r,r+1,\dots \}$$ 先排座位，前面
   $x-1$項中有
   $r-1$項是成功，而最後一項是成功，因此只有$ C^{x - 1}_{r - 1}$種可能，後入座機率。
2. 令直到第
   $1$次成功為止的失敗次數
   $Y=X-r$
   $$f_Y(y)=C_{r-1}^{y+r-1}\cdot p^r(1-p{)}^y,S_Y=\{0,1,\dots \}$$ 單純轉換變數。
   檢驗負二項分布(執行次數
   $X$)是否符合PMF總和機率為1的條件，使用到ch1 排列組合中微積分的二項式級數。
   $$\begin{array}{rl}\sum _{x\in S_X}{f}_X(x)& =\sum _{x=r}^n{C}_{r-1}^{x-1}\cdot p^r(1-p{)}^{x-r}\\ & =C_{r-1}^{r-1}{p}^r+C_{r-1}^r{p}^r(1-p)+C_{r-1}^{r+1}{p}^r(1-p{)}^2+\cdots \\ & =p^r+r{p}^r(1-p)+\frac{r(r+1)}{2}{p}^r(1-p{)}^2+\cdots \\ & =p^r[1+r(1-p)+\frac{r(r+1)}{2}(1-p{)}^2+\cdots ]\\ & =p^r[1+[-r][-(1-p)]+\frac{[-r][-r-1]}{2!}[-(1-p){]}^2+\cdots ]\\ & =p^r[1-(1-p){]}^{-r}\\ & =p^r{p}^{-r}=1\end{array}$$ 此分布會被稱為"負"二項的原因，是因為存在
   $[1-(1-p){]}^{-r}$的"負"次方的二項式級數。
   依序計算負二項分布(失敗次數
   $Y$)的動差生成函數、期望值、變異數，這三個重要的參數。
   $$\begin{array}{rl}{M}_Y(t)& =E[e^{tY}]\\ & =\sum _{y=0}^n{e}^{ty}{f}_Y(y)\\ & =\sum _{y=0}^n{e}^{ty}{C}_{r-1}^{y+r-1}\cdot p^r(1-p{)}^y\\ & =\sum _{y=0}^n{C}_y^{-r}\cdot p^r[(-1)\cdot (1-p)\cdot e^t{]}^y\because C_y^{-r}=(-1{)}^y{C}_{r-1}^{y+r-1}\\ & =p^r\sum _{y=0}^n{C}_y^{-r}{p}^r[-(1-p)e^t{]}^y\\ & =p^r(1-(1-p)e^t{)}^{-r}\because (1+x{)}^k=\sum _{n=0}^{\mathrm{\infty }}{C}_n^k{x}^n,|x|<1\\ & ={\left(\frac{p}{1-(1-p)e^t}\right)}^r,t>\ln (\frac{1}{1-p})\\ \ln M_Y(t)& =r\ln p-r\ln (1-(1-p)e^t)\\ E[Y]& =\frac{d[\ln M_Y(t)]}{dt}{|}_{t=0}\\ & =r\left(\frac{(1-p)e^t}{1-(1-p)e^t}\right){|}_{t=0}\\ & =r\left(\frac{1-p}{1-(1-p)}\right)\\ & =r\left(\frac{1-p}{p}\right)\\ \mathrm{Var}(Y)& =\frac{d^2[\ln M_Y(t)]}{d{t}^2}{|}_{t=0}\\ & =r\left(\frac{[(1-p)e^t][1-(1-p)e^t]-[(1-p)e^t][-(1-p)e^t]}{(1-(1-p)e^t{)}^2}\right){|}_{t=0}\\ & =r\left(\frac{(1-p)p+(1-p{)}^2}{p^2}\right)\\ & =r\left(\frac{1-p}{p^2}\right)\end{array}$$ 由於失敗次數
   $Y$加上成功次數
   $1$等於執行次數
   $X$，記為
   $X=Y+r$，因此
   $$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & =E[e^{t(Y+r)}]\\ & =M_Y(t)e^{rt}\\ E[X]& =E[Y]+r\\ \mathrm{Var}(X)& =\mathrm{Var}(Y)\end{array}$$ 最後探討模型之間的關係，若
   $n$個幾何分布的隨機變數獨立且同分布(iid)，則隨機變數相加為負二項分布。
   $$X_1,X_2,\dots ,X_r,\text{ where }{X}_i\sim G(p)\stackrel{\text{iid}}{⟶}X=X_1+X_2+\cdots +X_n\sim NB(r,p)$$

---

多項式分布(Multinomial distribution)

$\mathbf{X}\sim MN(n,p_1,p_2,\dots ,p_k)$

ch5 白努利試驗(Bernoulli Trial)其中一項定義為"結果只有2種"，若將其推廣結果為

$k$種，則稱為多項試驗(multinomial trials)。執行

$n$次多項試驗，成功的機率個別為

$p_1,p_2,\dots p_k$，令隨便向量

$\mathbf{X}=[X_1,X_2,\dots ,X_k]$為個別隨機變數成功的次數，則多項式分布的PMF為

$$P(X_1=x_1,X_2,=x_2,\dots ,X_k=x_k)=\frac{n!}{x_1!x_2!\cdots x_k!}\cdot p_1^{x_1}{p}_2^{x_2}\cdots p_k^{x_k}$$ 先排座位，根據ch1 排列組合中不盡相異物的排列數，再入座機率。

依序計算多項式分布的結合動差生成函數、單變數的期望值、單變數的變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_{\mathbf{X}}(t_1,t_2,\dots ,t_k)& =E[e^{t_1{X}_1}\cdot e^{t_2{X}_2}\cdots e^{t_k{X}_k}]\\ & =\sum _{x_1\in X_1}\sum _{x_2\in X_2}\cdots \sum _{x_1\in X_k}{e}^{t_1{x}_1}\cdot e^{t_2{x}_2}\cdots e^{t_k{x}_k}(\frac{n!}{x_1!x_2!\cdots x_k!}\cdot p_1^{x_1}{p}_2^{x_2}\cdots p_k^{x_k})\\ & =\sum _{x_1\in X_1}\sum _{x_2\in X_2}\left(\frac{n!}{x_1!x_2!\cdots x_k!}\right)[(p_1{e}^{t_1}{)}^{x_1}][(p_2{e}^{t_2}{)}^{x_2}]\cdots [(p_k{e}^{t_k}{)}^{x_k}]\\ & =(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^n\\ E[X_1]& =\frac{\partial }{\partial t_1}(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^n{|}_{(t_1,t_2,\dots ,t_k)=(0,0,\dots ,0)}\\ & =(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^n\cdot p_1{e}^{t_1}{|}_{(t_1,t_2,\dots ,t_k)=(0,0,\dots ,0)}\\ & =n(p_1+p_2+\cdots +p_k{)}^{n-1}{p}_1\\ & =n{p}_1\\ E[X_1^2]& =\frac{{\partial }^2}{\partial t_1^2}(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^n{|}_{(t_1,t_2,\dots ,t_k)=(0,0,\dots ,0)}\\ & =n(n-1)(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^{n-2}(p_1{e}^{t_1})(p_1{e}^{t_1})\\ & +n(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^{n-1}\cdot p_1{e}^{t_1}{|}_{(t_1,t_2,\dots ,t_k)=(0,0,\dots ,0)}\\ & =n(n-1)p_1^2+n{p}_1\\ \mathrm{Var}(X_1)& =E[X_1^2]-E[X_1{]}^2\\ & =(n(n-1)p_1^2+n{p}_1)-(n{p}_1{)}^2\\ & =n{p}_1(1-p_1)\end{array}$$ 觀察上式中

$E[X_1],\mathrm{Var}(X_1)$與二項分布的期望值與變異數相同，此為多項試驗退化為白努利試驗的結果，取決於觀測者不同的觀察角度，舉例來說同一個骰子觀測者A觀察骰子有6種可能結果，屬於多項試驗，而觀測者B只在乎骰子點數一點有無出現次數，結果從6種退化成只有2種，屬於白努利試驗。

最後計算共變異數與相關係數。

$$\begin{array}{rl}\mathrm{Cov}(X_1{X}_2)& =E[X_1,X_2]-E[X_1]E[X_2]\\ & =\frac{{\partial }^2}{\partial t_1{t}_2}(p_1{e}^{t_1}+p_2{e}^{t_2}+\cdots p_k{e}^{t_k}{)}^n{|}_{(t_1,t_2,\dots ,t_k)=(0,0,\dots ,0)}-(n{p}_1)(n{p}_2)\\ & =n(n-1)p_1{p}_2-(n{p}_1)(n{p}_2)\\ & =-n{p}_1{p}_2\\ {\rho }_{X_1,X_2}& =\frac{\mathrm{Cov}(X_1{X}_2)}{{\sigma }_{X_1}{\sigma }_{X_2}}\\ & =\frac{-n{p}_1{p}_2}{\sqrt{n{p}_1(1-p_1)}\sqrt{n{p}_2(1-p_2)}}\\ & =-\sqrt{\frac{p_1{p}_2}{(1-p_1)(1-p_2)}}\end{array}$$ 由原關係

$X_1+X_2=n$可看出當

$X_1$增加，則在

$n$固定之下，

$X_2$必減少，因此呈現負相關，共變數與相關係數皆為負值。

---

ch6 連續型機率變數模型

綱要

• 均勻分布
• 高斯/常態分布
• 求解任意高斯函數區間機率 - 先標準化再查表
• 指數分布 (等待1次事件的時間、兩次事件發生的間隔)
• gamma分布 (等待n次事件的時間)
• 卡方分布 (標準常態分佈的平方)
• 無記憶性有離散型的幾何分布、連續型的指數分布
• 二維結合高斯分布的MPDF、CPDF、JMGF
• n維結合高斯分布線性組合仍是n維結合高斯分布且獨立與不相關等價

---

均勻分布(Uniform distribution)

$X\sim U[a,b]$

隨機變數

$X$的PDF為

$$f_X(x)=\{\begin{array}{ll}\frac{1}{b-a},& a\le x\le b\\ 0,& \text{elsewhere}\end{array}$$ 依序計算均勻分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & ={\int }_a^b{e}^{tx}{f}_X(x)dx\\ & ={\int }_a^b{e}^{tx}\left(\frac{1}{b-a}\right)dx\\ & =\frac{1}{b-a}\frac{1}{t}(e^{tb}-e^{ta})\\ E[X]& ={\int }_a^{b}x{f}_X(x)dx\\ & ={\int }_a^{b}x\left(\frac{1}{b-a}\right)dx\\ & =\frac{1}{2}\left(\frac{1}{b-a}\right)(b^2-a^2)\\ & =\frac{a+b}{2}\dots \text{midpoint}\\ \mathrm{Var}(X)& =E[X^2]-(E[X]{)}^2\\ & ={\int }_a^b{x}^2\left(\frac{1}{b-a}\right)dx-\frac{a+b}{2}\\ & =\frac{b^2+ab+a^2}{3}-\frac{a+b}{2}\\ & =\frac{(a-b{)}^2}{12}\dots \frac{(\text{interval}{)}^2}{12}\end{array}$$ 任意隨機變數

$X$的CDF

$F_X(x)$為連續函數，則經過ch4 單->單變數變換(連續型)法1 - 累積函數法，隨機變數

$Y$必為均勻分布。

$$\begin{array}{rl}{F}_Y(y)& =P(Y\le y)\\ & =P(F_X(x)\le y)\\ & =P(X\le F_X^{-1}(y))\\ & =F_X(F_X^{-1}(y))\\ & =y\\ f_Y(y)& =\frac{d}{dy}{F}_Y(y)=1,0\le y\le 1\sim U[0,1]\end{array}$$ 在應用分面，計算機生成的均勻分布

$Y\sim U[0,1]$，經過適當的變數變換

$X=F^{-1}(Y)$後，就可以生成任意機率分布的CDF

$F(x)$。

---

高斯/常態分布(Normal/Gaussian distribution)

$X\sim N(\mu ,{\sigma }^2)$

對白努利試驗而言，當

$n\to \mathrm{\infty },p\to 0,\lambda \triangleq np$時二項分布可以近似於Poisson分布，而另一種近似的函數就是高斯分布，根據De Moivre-Laplace定理，當

$np(1-p)\gg 1$時，則是事件發生率為

$$C_x^n{p}^x(1-p{)}^{n-x}\approx \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},\mu \triangleq np,\sigma \triangleq \sqrt{np(1-p)}$$ 因此定義高斯/常態分佈為隨機變數

$X$的PDF

$$f_X(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$ 其中

$\mu$稱為位置參數，為眾數(機率最大)、中位數(剛好把機率分半)、平均數；

$\sigma$稱為形狀參數，為標準差，決定PDF的胖瘦。

檢驗上式是否符合PDF總和機率為1的條件，積分時做變數變換將指數上面的東西"打包"成一單變數，並使用到極座標的積分技巧。

$$\begin{array}{rl}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)dx& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & \text{set }u=\frac{x-\mu }{\sqrt{2}\sigma },du=\frac{dx}{\sqrt{2}\sigma },dx=\sqrt{2}\sigma du\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-u^2}(\sqrt{2}\sigma du)\\ & =\frac{1}{\sqrt{\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-u^2}du\\ & =\frac{1}{\sqrt{\pi }}\sqrt{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-u^2}du\cdot {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-w^2}dw}\\ & =\frac{1}{\sqrt{\pi }}\sqrt{{\int }_0^{2\pi }{\int }_0^{\mathrm{\infty }}{e}^{-r^2}rdrd\theta }\\ & =\frac{1}{\sqrt{\pi }}\cdot \sqrt{\pi }\\ & =1\end{array}$$ 依序計算高斯分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}{f}_X(x)\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{\frac{-1}{2{\sigma }^2}\{-2{\sigma }^{2}tx\}}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2{\sigma }^2}\{(x^2-2\mu x+{\mu }^2\}}dx\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{-1}{2{\sigma }^2}\{x^2-2(\mu +{\sigma }^{2}t)x\}}\cdot e^{\frac{-1}{2{\sigma }^2}({\mu }^2)}dx\\ & =\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{\frac{-1}{2{\sigma }^2}\{x-(\mu +{\sigma }^{2}t){\}}^2}dx\cdot e^{\mu t+\frac{1}{2}{\sigma }^2{t}^2}\\ & =e^{\mu t+\frac{1}{2}{\sigma }^2{t}^2}\\ \ln M_X(t)& =\mu t+\frac{1}{2}{\sigma }^2{t}^2\\ E[X]& =\frac{d[\ln M_X(t)]}{dt}{|}_{t=0}\\ & =\mu +{\sigma }^{2}t{|}_{t=0}\\ & =\mu \\ \mathrm{Var}(X)& =\frac{d^2[\ln M_X(t)]}{d{t}^2}{|}_{t=0}\\ & ={\sigma }^2{|}_{t=0}\\ & ={\sigma }^2\end{array}$$ 最後探討模型之間的關係，若

$n$個獨立的高斯分布相加還是高斯分布。

$$X_1,X_2,\dots ,X_n,X_i\sim N({\mu }_i,{\sigma }_i^2)\stackrel{\text{independent}}{⟶}X=X_1+X_2+\cdots X_n\sim N(\sum _{i=1}^n{\mu }_i,\sum _{i=1}^n{\sigma }_i^2)$$ 現實中許多隨機現象

$X$本身雖不具有常態分布，但經過ch4 變數變換單變數轉換，對其取對數

$Y=\ln (X)$後，就會表現出常態分布的性質，稱為對數常態分布(Log-Normal distribution)

---

高斯/常態分布的其他性質

高斯轉換

$X\sim N(\mu ,{\sigma }^2)$經過線性運算

$Y=aX+b$依然是高斯分布

$N(a\mu +b,a^2{\sigma }^2)$。

$$\begin{array}{rl}{M}_Y(t)& =E[e^{tY}]\\ & =E[e^{t(aX+b)}]\\ & =e^{tb}E[e^{(at)X}]\\ & =e^{tb}{M}_X(at)\\ & =e^{tb}{e}^{\mu (at)+\frac{1}{2}{\sigma }^2(at{)}^2}\\ & =e^{(a\mu +b)+\frac{1}{2}(a^2{\sigma }^2)t^2}\end{array}$$ 因此就可定義高斯分布的標準化

$$Z=\frac{X-\mu }{\sigma }$$ 將任意高斯經過標準化後化為

$Z\sim N(0,1)$，而

$Z\sim N(0,1)$稱為標準常態分布或是Z分布，其CDF稱為phi function

$$\mathrm{\Phi }(z)=f_X(Z\ge x)={\int }_x^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}dz$$ phi function的性質為對y軸對稱(

$\mu =0$)，因此

$\mathrm{\Phi }(-z)=1-\mathrm{\Phi }(z),\mathrm{\Phi }(0)=\frac{1}{2}$，而phi function的補事件就是Q function

$Q(z)=1-\mathrm{\Phi }(z)$，積分範圍為標準常態分佈的尾端機率(tail probability)，在通訊領域會大量用到。

欲計算任意高斯分布

$X\sim N(\mu ,{\sigma }^2)$的區間機率

$P(a<x<b)$，首先做標準化後化為標準常態分布，再來查Phi function的表。

$$\begin{array}{rl}P(a<x<b)& =P(\frac{a-\mu }{\sigma }<\underset{Z\sim N(0,1)}{\underbrace{\frac{x-\mu }{\sigma }}}<\frac{b-\mu }{\sigma })\\ & =\mathrm{\Phi }(\frac{b-\mu }{\sigma })-\mathrm{\Phi }(\frac{a-\mu }{\sigma })\end{array}$$ 若phi function算出來是負的，則使用對稱性質

$\mathrm{\Phi }(-z)=1-\mathrm{\Phi }(z)$，將其轉換為正的phi function才可以查到表。

---

指數分布(Exponential distribution)

$X\sim E(\lambda )$

波松程序(Poisson process) - 與時間有關提及，對波松程序而言，在

$(0,t)$秒時間內發生的次數

$x$呈現波松分布

$$P(X=x)=\frac{e^{-\lambda t}(\lambda t{)}^x}{x!}\sim Po(\lambda t),\lambda :\text{mean occurrence rate}$$

首先令隨機變數

$T$為兩件事情的間隔時間，由於連續型隨機變數單點機率無意義，所以先求其CDF，為在

$(0,t)$時間內至少一次事件發生的機率

$P(T\le t)$，使用補事件改為

$1-P(T>t)$，也就是說在

$(0,t)$時間內沒有任何事件發生，也就是發生的次數

$x=0$的波松分布，並對CDF微分可得PDF。

$$\begin{array}{rl}{F}_T(t)& =P(T\le t)\\ & =1-P(T>t)\\ & =1-P(\text{nothing happens in }(0,t))\\ & =1-P(X=0),X\sim Po(\lambda t)\\ & =1-\frac{e^{-\lambda t}(\lambda t{)}^0}{0!}\\ & =1-e^{-\lambda t}\\ f_T(t)& =\frac{d{F}_T(t)}{dt}=\lambda e^{-\lambda t}\end{array}$$ 因此定義指數分布，其隨機變數

$X$的PDF遵循

$$f_X(x)=\lambda e^{-\lambda x},x>0,\lambda >0$$ 其中隨機變數

$X$代表等待一次需要花的時間，而

$\lambda$為事件的平均發生率(mean occurrence rate，單位是"次/時間")，由於單位時間內發生的次數

$Y$為

$E[Y]=\lambda$，因此兩次事件發生的時間間隔即為其倒數

$E[X]=\frac{1}{E[X]}=\frac{1}{\lambda }$。

依序計算指數分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}{f}_X(x)\\ & ={\int }_0^{\mathrm{\infty }}{e}^{tx}\cdot \lambda e^{-\lambda x}dx\\ & =\lambda {\int }_0^{\mathrm{\infty }}{e}^{(t-\lambda )x}dx,t-\lambda <0\\ & =\frac{\lambda }{\lambda -t},t<\lambda \\ \ln M_X(t)& =\ln \lambda -\ln (\lambda -t)\\ E[X]& =\frac{d[\ln M_X(t)]}{dt}{|}_{t=0}\\ & =0-\frac{-1}{\lambda -t}{|}_{t=0}\\ & =\frac{1}{\lambda }\\ \mathrm{Var}(X)& =\frac{d^2[\ln M_X(t)]}{d{t}^2}{|}_{t=0}\\ & =\frac{0-1(-1)}{(\lambda -t{)}^2}{|}_{t=0}\\ & =\frac{1}{{\lambda }^2}\end{array}$$ 指數分布可視為gamma分布在

$\alpha =1,\beta =\frac{1}{\lambda }$時的特例

$$Gamma(1,\frac{1}{\lambda })=\frac{x^{1-1}{e}^{-\frac{x}{1/\lambda }}}{\mathrm{\Gamma }(1)\cdot (\frac{1}{\lambda }{)}^1}=\lambda e^{-\lambda x}=E(\lambda )$$ 同理動差生成函數、期望值、變異數

$$\begin{array}{rl}{M}_X(t)& =\frac{1}{(1-\beta t{)}^{\alpha }}=\frac{1}{(1-\frac{1}{\lambda }t{)}^1}=\frac{\lambda }{\lambda -t}\\ E[X]& =\alpha \beta =1\cdot \frac{1}{\lambda }=\frac{1}{\lambda }\\ \mathrm{Var}(X)& =\alpha {\beta }^2=1\cdot {\left(\frac{1}{\lambda }\right)}^2=\frac{1}{{\lambda }^2}\end{array}$$

---

gamma分布

$X\sim Gamma(\alpha ,\beta )$

gamma分布，其隨機變數

$X$的PDF遵循

$$f_X(x)=\frac{x^{\alpha -1}{e}^{-\frac{x}{\beta }}}{\mathrm{\Gamma }(\alpha )\cdot {\beta }^{\alpha }},x\ge 0,\alpha >0,\beta >0$$

gamma函數的定義與性質

$$\begin{array}{rl}& \mathrm{\Gamma }(x)={\int }_0^{\mathrm{\infty }}{t}^{x-1}{e}^{-t}dt\\ & \mathrm{\Gamma }(x+1)=\mathrm{\Gamma }(x),\mathrm{\Gamma }(1)=\mathrm{\Gamma }(2)=1,\mathrm{\Gamma }(\frac{1}{2})=\sqrt{\pi }\\ & \mathrm{\Gamma }(n+1)=n!,n\in \mathbb{N}\end{array}$$

其中

$\alpha$稱為形狀(shape)參數、

$\frac{1}{\beta }=\lambda$稱為尺度(scale)參數。意義在於等待

$\alpha$次事件發生的時間，為指數函數的廣義推廣，因此就可探討模型之間的關係，若

$\alpha$個獨立且同分布(iid)的指數分布相加後會是gamma分布。

$$X_1,X_2,\dots ,X_{\alpha },X_i\sim E(\lambda )\stackrel{\text{iid}}{⟶}X=X_1+X_2+\cdots X_n\sim Gamma(\alpha ,\frac{1}{\lambda })$$ 依序計算gamma分布的動差生成函數、期望值、變異數，這三個重要的參數。

$$\begin{array}{rl}{M}_X(t)& =E[e^{tX}]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{tx}{f}_X(x)\\ & ={\int }_0^{\mathrm{\infty }}{e}^{tx}\cdot \frac{x^{\alpha -1}{e}^{-\frac{x}{\beta }}}{\mathrm{\Gamma }(\alpha )\cdot {\beta }^{\alpha }}dx\\ & =\frac{1}{\mathrm{\Gamma }(\alpha ){\beta }^{\alpha }}{\int }_0^{\mathrm{\infty }}{x}^{\alpha -1}{e}^{-(\frac{1}{\beta }-t)x}dx\\ & =\frac{1}{\mathrm{\Gamma }(\alpha ){\beta }^{\alpha }}{\int }_0^{\mathrm{\infty }}\frac{z^{\alpha -1}}{{(\frac{1}{\beta }-t)}^{\alpha -1}}{e}^{-z}dz\cdot \frac{1}{\frac{1}{\beta }-t}\\ & =\frac{1}{\mathrm{\Gamma }(\alpha ){\beta }^{\alpha }}\cdot \frac{1}{{(\frac{1}{\beta }-t)}^{\alpha }}\cdot \mathrm{\Gamma }(\alpha )\\ & =\frac{1}{(1-\beta t{)}^{\alpha }},t<\frac{1}{\beta }\\ \ln M_X(t)& =-\alpha \ln (1-\beta t)\\ E[X]& =\frac{d[\ln M_X(t)]}{dt}{|}_{t=0}\\ & =-\alpha \frac{-\beta }{1-\beta t}{|}_{t=0}\\ & =\alpha \beta \\ \mathrm{Var}(X)& =\frac{d^2[\ln M_X(t)]}{d{t}^2}{|}_{t=0}\\ & =\frac{0-(\alpha \beta )(-\beta )}{(1-\beta t{)}^2}{|}_{t=0}\\ & =\alpha {\beta }^2\end{array}$$

---

卡方分布(chi-square distribution)

$X\sim {\chi }^2(n)$

卡方分布，其隨機變數

$X$的PDF遵循

$$f_X(x)=\frac{x^{\frac{n}{2}-1}{e}^{-\frac{x}{2}}}{\mathrm{\Gamma }(\frac{n}{2})\cdot 2^{\frac{n}{2}}},x\ge 0,n\in \mathbb{N}$$ 記為

$X\sim {\chi }^2(n)$，其中

$n$稱為自由度(degree of freedom)，

$n\in \mathbb{N}$，卡方分布可視為gamma分布在

$\alpha =\frac{n}{2},\beta =2$時的特例。

探討模型之間的關係，

$n$個標準常態分布的平方相加後，會是卡方分布。

$$Z_1,Z_2,\dots ,Z_n,Z_i\sim N(0,1)⟶X=Z_1^2+Z_2^2+\cdots Z_n^2\sim {\chi }^2(n)$$ 使用ch4 單->單變數變換(連續型)法2 - 分割區間法證明自由度是1的卡方分布。

$$\begin{array}{rl}& \text{goal : find }Z=X^2,\text{where }X\sim N(0,1)\\ & Z_1:Z\le 0\\ & X=Z^2\to Z=-\sqrt{x}\\ & f_{X_1}(y)=f_Z(z=-\sqrt{x})|\frac{d(-\sqrt{x})}{dy}|=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(-\sqrt{x}{)}^2}{2}}\cdot \frac{1}{2\sqrt{x}}\\ & =\frac{1}{2\sqrt{2\pi }\sqrt{x}}{e}^{-\frac{x}{2}},x\ge 0\\ & Z_1:Z\ge 0\\ & X=Z^2\to Z=\sqrt{x}\\ & f_{X_2}(y)=f_Z(z=\sqrt{y})\frac{d(-\sqrt{x})}{dx}=\frac{1}{\sqrt{2\pi }}{e}^{\frac{(-\sqrt{y}{)}^2}{2}}\cdot \frac{1}{2\sqrt{x}}\\ & =\frac{1}{2\sqrt{2\pi }\sqrt{x}}{e}^{-\frac{x}{2}},x\ge 0\\ & f_X(x)=f_{X_1}(x)+f_{X_2}(x)=\frac{1}{\sqrt{2\pi }\sqrt{x}}{e}^{-\frac{x}{2}}=\frac{x^{\frac{1}{2}-1}{e}^{-\frac{x}{2}}}{\mathrm{\Gamma }(\frac{1}{2})\cdot 2^{\frac{1}{2}}},x\ge 0,X\sim {\chi }^2(1)\end{array}$$

---

波松程序的解題流程

綜合上述觀念，波松程序解題流程第一步是由題意求得平均時間的發生率

$\lambda$ (次數/時間)，再來求以下3個

1. 次數(離散) - 在時間
   $(t,t+T)$內事件發生次數
   $X\sim Po(\lambda T)$
2. 時間(連續) - 等待
   $1$次事件發生的時間(兩次事件發生的間隔)
   $T\sim E(\lambda )$
3. 時間(連續) - 等待
   $n$次事件發生的時間
   $T\sim Gamma(n,\frac{1}{\lambda })$

---

無記憶性(memoryless)

無記憶性代表過去發生的事件與現在無關，定義為

$$P(X\ge s+t\mid X\ge s)=P(X\ge t)$$ 舉例來說客戶等待

$s$秒的前提下，還需要多等

$t$秒的機率，與之前是否等待

$s$秒無關。

$$\begin{array}{rl}\frac{P(X\ge s+t)}{P(X\ge s)}& =\frac{\sum _{x=s+t+1}^{\mathrm{\infty }}p(1-p{)}^{x-1}}{\sum _{x=s+1}^{\mathrm{\infty }}p(1-p{)}^{x-1}}=\frac{(1-p{)}^{s+t}}{(1-p{)}^s}=(1-p{)}^t=P(X\ge t)\\ \frac{P(X\ge s+t)}{P(X\ge s)}& =\frac{{\int }_{s+t}^{\mathrm{\infty }}\lambda e^{-\lambda x}dx}{{\int }_s^{\mathrm{\infty }}\lambda e^{-\lambda x}dx}=\frac{e^{-\lambda (s+t)}}{e^{-\lambda s}}=e^{-\lambda t}=P(X\ge t)\end{array}$$ 根據上述定義可證明離散型的幾何分布

$X\sim G(p)$無記憶性，因為前

$r$次失敗都不影響下次可能會失敗或是成功的機率，因為每次試驗都是獨立的白努利試驗；而連續型的指數分布

$X\sim E(\lambda )$無記憶性，因為事件的平均發生率(mean occurrence rate)

$\lambda$是常數，而不是時間的函數，故不隨時間改變。

---

失敗率(failure rate)

$$R(x)\triangleq \underset{\mathrm{\Delta }\to 0}{lim}\frac{P(x\le X\le x+\mathrm{\Delta }x\mid X\ge x)}{\mathrm{\Delta }x}$$ 在時間點

$x$，物品仍然存活的條件之下，在故障發生在下一刻

$x+\mathrm{\Delta }x$的條件機率，也就是單位時間的事件發生率

$$\begin{array}{rl}R(x)& \triangleq \underset{\mathrm{\Delta }\to 0}{lim}\frac{P(x\le X\le x+\mathrm{\Delta }x\mid X\ge x)}{\mathrm{\Delta }x}\\ & =\underset{\mathrm{\Delta }\to 0}{lim}\frac{1}{\mathrm{\Delta }x}\frac{P(x\le X\le x+\mathrm{\Delta }x)}{P(X\ge x)}\\ & =\underset{\mathrm{\Delta }\to 0}{lim}\frac{1}{\mathrm{\Delta }x}\frac{f(x)\mathrm{\Delta }x}{1-P(X\le x)}\\ & =\frac{f(x)}{1-F(x)}=\frac{f(x)}{\bar{F}(x)}\end{array}$$ 失敗率為PDF除以CDF的補事件。
將指數函數帶入上式計算失敗率

$$R(x)=\frac{f(x)}{\bar{F}(x)}=\frac{\lambda e^{-\lambda x}}{1-(1-e^{-\lambda x})}=\lambda =\text{const.}$$ 代表物件今天故障與明天故障的機率是相同的，所以前面才會推得指數分布是無記憶性。

---

結合高斯分布

二維結合高斯分布

$S=X,Y\sim BN({\mu }_1,{\sigma }_1^2,{\mu }_2,{\sigma }_2^2,\rho )$的PDF為

$$f_{X,Y}(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\rho \left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})$$ 欲計算二維結合高斯分布的邊際機率密度函數(MPDF)

$f_X(x),f_Y(y)$，由於計算量太大，需要半背半推，依序與

$X$無關的常數提出來、補上數字使其變成完全平方式，接下來與常態分布相關的常數放在外面，最後後面那項的指數積分剛好與分母消掉得到答案。

$$\begin{array}{rl}{f}_Y(y)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\rho \left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})dx\\ & =\frac{\exp (-\frac{1}{2(1-{\rho }^2)}{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2)}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (-\frac{1}{2(1-{\rho }^2)}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\rho \left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\rho }^2{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})dx\cdot \exp \left(\frac{1}{2(1-{\rho }^2)}{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2{\rho }^2\right)\\ & =\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp (-\frac{1}{2}{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2)\end{array}$$ 因此可推得二維高斯分布的邊際機率密度函數就是一維高斯分布

$Y\sim N({\mu }_2,{\sigma }_2)$，同理

$f_X(x)$。

欲計算二維結合高斯分布的條件機率密度函數(Conditional PDF)

$f(x\mid y)$、條件期望值

$E[X\mid Y]$、條件變異數

$\mathrm{Var}(X\mid Y)$

$$\begin{array}{rl}f(x\mid y)& =\frac{f_{X,Y}(x,y)}{f_Y(y)}\\ & =\frac{\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\rho \left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})}{\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp (-\frac{1}{2}{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2)}\\ & =\cdots \\ & =\frac{1}{\sqrt{2\pi }{\sigma }_1\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2){\sigma }_1^2}{[x-({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2))]}^2)\\ & \therefore \text{rv's }X\mid Y\sim N(\underset{=E[X\mid Y]}{\underbrace{{\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2)}},\underset{=\mathrm{Var}(X\mid Y)}{\underbrace{{\sigma }_2^2(1-{\rho }^2)}})\end{array}$$ 二維結合高斯分布的結合動差形成函數(JMGF)(證明省略，不會考)為

$$M_{X,Y}(t_1,t_2)=\exp ({\mu }_X{t}_1+{\mu }_Y{t}_2+\frac{1}{2}({\sigma }_X^2{t}^2+2\rho {\sigma }_X{\sigma }_Y{t}_1{t}_2+{\sigma }_Y^2{t}^2))$$ 給定隨機向量

$\mathbf{X}=[X_1,X_2,\dots ,X_n{]}^T$，屬於n維結合高斯分布，若隨機向量

$\mathbf{Y}$為

$\mathbf{X}$的線性組合

$\mathbf{Y}=\mathbf{Ax}+\mathbf{b}$，則

$\mathbf{Y}$也為結合高斯分布(證明省略)，並且其平均值

${\mu }_Y$與變異數

${\mathbf{C}}_Y$為

$$\begin{array}{rl}{\mu }_Y& =E[\mathbf{Y}]\\ & =E[\mathbf{Ax}+\mathbf{b}]\\ & =\mathbf{A}E[\mathbf{X}]+\mathbf{b}\\ & =\mathbf{A}{\mu }_X+\mathbf{b}\\ {\mathbf{C}}_Y& =E[(\mathbf{Y}-{\mu }_Y)(\mathbf{Y}-{\mu }_Y)]\\ & =E[\mathbf{A}(\mathbf{X}-{\mu }_X)(\mathbf{X}-{\mu }_X){\mathbf{A}}^T]\\ & =\mathbf{A}E[(\mathbf{X}-{\mu }_X)(\mathbf{X}-{\mu }_X)]{\mathbf{A}}^T\\ & =\mathbf{A}{\mathbf{C}}_X{\mathbf{A}}^T\end{array}$$ 參照ch3 獨立 ⇒ 不相關，but不相關 !⇒ 獨立，但有兩個例外(獨立與不相關等價)，一是二位元傳輸、二是結合高斯分布，二維結合高斯分布的證明如下 - 給定二維結合高斯分布的隨機變數

$X,Y$不相關，因此相關係數

$\rho =0$

$$\begin{array}{rl}{f}_{X,Y}(x,y)& =\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2-2\rho \left(\frac{x-{\mu }_1}{{\sigma }_1}\right)\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})\\ & =\frac{1}{2\pi {\sigma }_1{\sigma }_2}\exp (-\frac{1}{2}\{{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2\})\\ & =(\frac{1}{\sqrt{2\pi }{\sigma }_1}\exp (-\frac{1}{2}{\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2))\cdot (\frac{1}{\sqrt{2\pi }{\sigma }_2}\exp (-\frac{1}{2}{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2))\\ & =f_X(x)\cdot f_Y(y)\end{array}$$

---

ch7 機率不等式、取樣、極限定理

綱要

• 馬可夫不等式 - 單尾端的機率有上限(平均值除以
  $a$)
• 柴比雪夫不等式 - 雙尾端的機率有上限(變異數除以
  $ϵ$的平方)
• 樣本平均數、樣本變異數、大數法則、中央極限定理

---

馬可夫不等式(Markov's inequality)

若隨機變數

$X$符合2個條件 - 值域大於0

$S_X=\{x\le 0\}$、平均值

$\mu$存在，則

$$P(X\ge a)\le \frac{\mu }{a}$$ 代表大於

$a$，單尾端的機率有上限，此上限為平均值除以

$a$。
證明

$$\begin{array}{rl}\mu & \triangleq {\int }_0^{\mathrm{\infty }}x\cdot f_X(x)dx\\ & ={\int }_0^{a}x{f}_X(x)dx+{\int }_a^{\mathrm{\infty }}x{f}_X(x)dx\\ & \ge {\int }_a^{\mathrm{\infty }}x{f}_X(x)dx\because {\int }_0^{a}x{f}_X(x)dx\ge 0\\ & \ge a{\int }_a^{\mathrm{\infty }}{f}_X(x)dxx\in (a,\mathrm{\infty })\\ & =aP(X\ge a)\end{array}$$

---

柴比雪夫不等式(Chebyshev's inequality)

若隨機變數

$X$符合2個條件 - 平均值

$\mu$存在、變異值

${\sigma }^2$存在，則

$$P(\mid X-\mu \mid \ge ϵ)\le \frac{{\sigma }^2}{{ϵ}^2}$$ 代表向左右延伸

$ϵ$以外雙尾端的機率有上限，此上限為變異數除以

$ϵ$的平方。根據補空間概念，上式可推得

$ϵ$以內中心區域的機率有下限為

$P(\mid X-\mu \mid \le ϵ)\ge 1-\frac{{\sigma }^2}{{ϵ}^2}$。

$$\begin{array}{rl}{\sigma }^2& \triangleq {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu {)}^2\cdot f_X(x)dx\\ & ={\int }_{-\mathrm{\infty }}^{\mu -ϵ}(x-\mu {)}^2\cdot f_X(x)dx+{\int }_{\mu -ϵ}^{\mu +ϵ}(x-\mu {)}^2\cdot f_X(x)dx+{\int }_{\mu +ϵ}^{\mathrm{\infty }}(x-\mu {)}^2\cdot f_X(x)dx\\ & \ge {\int }_{-\mathrm{\infty }}^{\mu -ϵ}(x-\mu {)}^2\cdot f_X(x)dx+{\int }_{\mu +ϵ}^{\mathrm{\infty }}(x-\mu {)}^2\cdot f_X(x)dx\because {\int }_{\mu -ϵ}^{\mu +ϵ}(x-\mu {)}^2\cdot f_X(x)dx\ge 0\\ & \ge {ϵ}^2{\int }_{-\mathrm{\infty }}^{\mu -ϵ}{f}_X(x)dx+{ϵ}^2{\int }_{\mu +ϵ}^{\mathrm{\infty }}{f}_X(x)dx\because X<\mu -ϵ\to X-\mu <-ϵ\to (X-\mu {)}^2>{ϵ}^2\\ & ={ϵ}^{2}P(\mid X-\mu \mid \ge ϵ)\end{array}$$

---

樣本平均數、樣本變異數、大數法則

簡單隨機抽樣(simple random sampling)是指從母體任意抽取

$n$個單位作為樣本

$X_1,X_2,\dots ,X_n$，每個簡單樣本獨立且同分布(idd)，其分布等同母體分布。

樣本平均數

$$E[\bar{X}]=E[\frac{1}{n}(X_1+X_2+\dots +X_n)]=\frac{1}{n}(n\mu )=\mu$$ 樣本變異數

$$\mathrm{Var}(\bar{X})=\mathrm{Var}(\frac{1}{n}(X_1+X_2+\dots +X_n))=\frac{1}{n}(\mathrm{Var}(X_1)+\cdots +\mathrm{Var}(X_n))=\frac{1}{n^2}(n{\sigma }^2)=\frac{{\sigma }^2}{n}$$ 當測量越精確，

$n\to \mathrm{\infty }$，樣本變異數

$\mathrm{Var}(\bar{X})=\underset{n\to \mathrm{\infty }}{lim}\frac{{\sigma }^2}{n}=0$，代表每次實驗都會是平均值

$\mu$，樣本平均數趨近於母體的平均值，稱為大數法則(large number rule)。

---

中央極限定理

任意母體

$X(\mu ,{\sigma }^2)$取出來的簡單樣本

$X_1,X_2,\dots ,X_n$，做樣本平均數

$${\bar{X}}_n=\frac{1}{n}(X_1+X_2+\cdots X_n)\sim X(\mu ,{\sigma }^2)$$ 再做標準化

$${\bar{Z}}_n=\frac{{\bar{X}}_n-\mu }{\frac{\sigma }{\sqrt{n}}}\sim X^{\prime }(0,1)$$ 當

$n$趨近無限大會是標準常態分佈

$${\bar{Z}}_n\stackrel{n\to \mathrm{\infty }}{⟶}N(0,1)$$ 考題有2種，若

$X_1,X_2,\dots ,X_n$取自母體

$X(\mu ,{\sigma }^2)$的一組簡單樣本

1. 平均型
   $$\underset{n\to \mathrm{\infty }}{lim}{\bar{X}}_n=\underset{n\to \mathrm{\infty }}{lim}(\frac{1}{n}(X_1+X_2+\cdots X_n))\sim N(\mu ,\frac{{\sigma }^2}{n})$$
2. 總和型
   $$\underset{n\to \mathrm{\infty }}{lim}{S}_n=\underset{n\to \mathrm{\infty }}{lim}(X_1+X_2+\cdots X_n)\sim N(n\mu ,n{\sigma }^2)$$ 由於呈現高斯分布，所以利用ch6 高斯/常態分布的其他性質求解高斯函數區間機率 - 先標準化再查表。