# Discrete Distribution

## Random Variable

隨機變數是一種數學概念，將某一個不能用數值表達的物件映射到唯一的數值，給定一個樣本空間 $S$ 有一個函數 $X$ 將 $S$ 中的元素 $s$ 映射到唯一對應的值 $x$ 則稱 $X$ 為隨機變數

$$
\text{Space of }X = \{x: X(s) = x,s \in S\}
$$

## Probability Mass Function

機率密度函數定義離散的機率分佈，且其性質符合以下條件
- $f(x) \gt 0, \quad x \in S$
- $\sum_{x\in S}f(x) = 1$
- $P(X \in A) = \sum_{x\in A}f(x), \quad \text{where } A \subset S$

## Mathematical Expectation

函數 $u(x)$ 表示某一個事件發生會產生的數值，比如骰子產生 $3$ 之類的，而 $f(x)$ 是此事件發生的機率

$$
E[u(X)] = \sum_{x\in S}u(x)f(x)
$$

## Special Mathematical Expectations

離散機率分佈的平均值等於期望值

$$
\mu = E(X)
$$

### Moment

根據物理學的動差（Moment）概念，可以用來計算機率分佈函數的某些性質，稱 $u_{i}$ 為第 $i$ 個資料點和原點的距離，而 $u_{i}f(u_{i})$ 為矩長度（Moment Arm）為 $u_{i}$ 的動差

第 $r$ 原動差（$r$ th moment of the distribution about the origin）

$$
E(X^r) = \sum_{x \in S} x^{r}f(x)
$$

對於 $b$ 的第 $r$ 動差（$r$ th moment of the distribution about $b$）

$$
E[(X - b)^r] = \sum_{x \in S}(x - b)^{r}f(x)
$$

### First Moment about $\mu$

計算平均值 $\mu$ 的第一動差會產生矩長度 $(x - \mu)$

$$
\begin{split}
\sum_{x \in S}(x - \mu)f(x) &= E[(X - \mu)] \\
&= E(X) - E(\mu) \\
&= \mu - \mu = 0
\end{split}
$$

### Second Moment about $\mu$

平均值 $\mu$ 的第二動差為變異數（Variance），符號為 $Var$ 或是 $\sigma^2$，其平方根為標準差（Standard Deviation）

$$
\begin{split}
Var(X) = \sigma^2 &= \sum_{x \in S}(x - \mu)^2f(x) \\
&= E[(X - \mu)^2] \\
&= E[X^2 - 2\mu X + \mu^2] \\
&=E(X^2) - 2\mu E(X) + \mu^2 \\
&=E(X^2) - 2\mu^2 + \mu^2 \\
&= E(X^2) - \mu^2
\end{split}
$$

### Third Standarized Moment about $\mu$

平均值 $\mu$ 的第三標準動差為偏度 $\gamma$ (Skewness)，可以得知機率分佈函數的形狀

$$
\gamma = \frac{E[(X - \mu)^3]}{\sigma^3}
$$


可以用下列式子檢驗機率分佈函數為對稱，因此對稱的機率分佈函數的偏度為 $0$

$$
E[(X - \mu)^3] = -E[(X - \mu)^3] = 0
$$

$\mu$ 的第三動差可以被化簡

$$
\begin{split}
E[(X - \mu)^3] &= E[X^3 - 3X^2\mu + 3X\mu^2 - \mu^3] \\
&= E(X^3) - 3\mu E(X^2) + 2\mu^3 \\
&=E(X^3) - 3\mu (\sigma^2 + \mu^2) + 2\mu^3 \quad \text{by} \quad \sigma^2 = E(X^2) - \mu^2 \\
&= E(X^3) - 3\mu\sigma^2 - \mu^3
\end{split}
$$

因此偏度的公式為

$$
\gamma = \frac{E(X^3) - 3\mu\sigma^2 - \mu^3}{\sigma^3}
$$

## Moment Generating Function

定義動差母函數為 $M(t)$，用來快速找到機率分佈函數的動差，把 $f(x)$ 換成機率密度函數之後可以推導出不同原動差的公式

$$
M(t) = E(e^{tX}) = \sum_{x \in S}e^{tx}f(x)
$$

當帶入 $t = 0$ 時動差母函數 $M(0) = 1$

$$
M(0) = \sum_{x \in S}f(x) = 1
$$

如果對 $M(t)$ 中的 $t$ 微分然後帶入 $t = 0$ 可以得到不同的原動差

$$
\begin{split}
M'(t) &= \sum_{x \in S}xe^{tx}f(x) \\
M^{(r)}(t) &= \sum_{x \in S}x^{r}e^{tx}f(x)
\end{split}
$$

動差母函數的一次微分代 $0$ 為平均值

$$
M'(0) = E(X) = \mu
$$

用動差母函數求變異數

$$
\begin{split}
M''(0) - [M'(0)]^2 &= E(X^2) - [E(X)]^2 \\
&= E(X^2) - \mu^2 \\
&= \sigma^2
\end{split}
$$

## Binomial Distribution

### Bernoulli Experiment

伯努力試驗中每一個事件只會有兩種結果，比如成功或是失敗，因此伯努力試驗的機率密度函數為

$$
f(x) = p^{x}(1 - p)^{1-x} \quad x = 0, 1
$$

期望值 $\mu = E(X)$

$$
\mu = E(X) = 0 \cdot p^{0} \cdot (1 - p)^{1} + 1 \cdot p^{1} \cdot (1 - p)^{0} = p
$$

變異數 $Var$ 和標準差 $\sigma$

$$
\begin{split}
Var = E[(X - \mu)^2] &= \sum_{x = 0}^{1}(x - \mu)^2p^{x}(1-p)^{1-x} \\
&= \sum_{x = 0}^{1}(x - p)^2p^{x}(1-p)^{1-x} \\
&= (0 - p)^2(1 - p) + (1 - p)^2p \\
&= p^2 - p^3 + p - 2p^2+ p^3 \\
&= -p^2 + p \\
&= p(1-p) \\
&= pq
\end{split}
$$

$$
\sigma = \sqrt{Var} = \sqrt{pq}
$$

### Binominal Distribution PMF

多個伯努力試驗串連在一起，而且每一個事件之間為獨立，則機率密度函數為二項式分佈，標記為 $b(n,p)$，其中 $n$ 是發生的事件數量，$p$ 是事件成功的機率

$$
f(x) = \begin{pmatrix}n\\x\end{pmatrix}p^{x}(1 - p)^{n - x} \quad x = 0,1,2,\cdots,n
$$

使用二項式定理可以驗證二項式分佈的機率總和為 $1$

$$
(a + b)^{n} = \sum^{n}_{i = 0}\begin{pmatrix}n\\x\end{pmatrix}a^{x}b^{n-x}
$$

$$
\begin{split}
F(x) &= \sum^{n}_{x = 0}\begin{pmatrix}n\\x\end{pmatrix}p^{x}(1 - p)^{n - x} \\
&= (p + (1 - p))^{n} \\
&= 1
\end{split}
$$

二項式分佈的累計分佈函數為

$$
P(X \leq x) = \sum^{x}_{i = 0}\begin{pmatrix}n\\i\end{pmatrix}p^{i}(1 - p)^{n - i}
$$

### Binomial Distribution MGF

二項式分佈的動差母函數為

$$
\begin{split}
M(t) &= E(e^{tX}) \\
&= \sum_{i = 0}^{n}e^{tx}\begin{pmatrix}n\\x\end{pmatrix}p^{x}(1 - p)^{n-x} \\
&= \sum_{i = 0}^{n}\begin{pmatrix}n\\x\end{pmatrix}(e^{t}p)^{x}(1 - p)^{n-x} \\
&= (pe^t + (1-p))^{n} \\
&= (1 - p + pe^t)^n \quad -\infty \leq t \leq \infty
\end{split}
$$

第一原動差 $\mu$ 為

$$
M'(t) = n(1 - p + pe^t)^{n - 1}pe^t
$$

$$
M'(0) = E(X) = \mu = np
$$

第二原動差 $E(X^{2})$ 為

$$
M''(t) = n(n - 1)(1 - p + pe^{t})^{n - 2}p^{2}e^{2t} + n(1 - p + pe^{t})^{n - 1}pe^{t}
$$

$$
M''(0) = E(X^2) = n(n - 1)p^{2} + np
$$

變異數 $Var$ 和標準差 $\sigma$ 為

$$
\begin{split}
Var &= E(X^2) - [E(X)]^2 \\
&= n(n - 1)p^2 + np - n^2p^2 \\
&= n^2p^2 - np^2 + np - n^2p^2 \\
&= np(1 - p) \\
&= npq
\end{split}
$$

$$
\sigma = \sqrt{npq}
$$

## Poisson Distribution

卜瓦松分佈成立需要有三個條件
- 不同區間內事件的發生彼此獨立
- 單位時間內事件平均發生次數 $\lambda$ 固定
- 單位時間內同時發生兩次以上事件的機率可以忽略

Poisson Distribution 發想自二項式分佈

$$
\begin{split}
P(X = x) &= \sum^{n}_{x = 0}\begin{pmatrix}n\\x\end{pmatrix}p^{x}(1 - p)^{n - x} \\
\end{split}
$$

令 $p = \frac{\lambda}{n}$，將事件分攤到 $n$ 個單位時間片段中，配合第三點條件，將分割次數 $n \to \infty$

$$
P(X = x) = \frac{n!}{x!(n - x)!}\bigg(\frac{\lambda}{n}\bigg)^{x}\bigg(1 - \frac{\lambda}{n}\bigg)^{n - x}
$$

### Poisson Distribution PMF

$$
\begin{split}
P(X = x) &= \frac{n!}{x!(n - x)!}\bigg(\frac{\lambda}{n}\bigg)^{x}\bigg(1 - \frac{\lambda}{n}\bigg)^{n - x} \\
&= \frac{n(n-1)\cdots(n - x + 1)}{x!}\bigg(\frac{\lambda^x}{n^x}\bigg)\bigg(1 - \frac{\lambda}{n}\bigg)^n\bigg(1 - \frac{\lambda}{n}\bigg)^{-x} \\
&= \frac{n(n-1)\cdots(n - x + 1)}{n^x}\bigg(\frac{\lambda^x}{x!}\bigg)\bigg(1 - \frac{\lambda}{n}\bigg)^n\bigg(1 - \frac{\lambda}{n}\bigg)^{-x}
\end{split}
$$

當時間被無限分割時 $n \to \infty$

$$
\begin{split}
&\lim_{n \to \infty}\frac{n(n-1)\cdots(n - x + 1)}{n^x} = \lim_{n \to \infty}\prod_{k=0}^{x-1}\frac{n-k}{n} = \lim_{n \to \infty}\prod_{k = 0}^{x-1}(1 - \frac{k}{n}) = 1\\
&\lim_{n \to \infty}\bigg(1 - \frac{\lambda}{n}\bigg)^n = e^{-\lambda}\\
&\lim_{n \to \infty}\bigg(1 - \frac{\lambda}{n}\bigg)^{-x} = 1
\end{split}
$$

因此卜瓦松分佈的機率密度函數為

$$
f(x) = \frac{\lambda^{x}e^{-\lambda}}{x!}, \quad \lambda \gt 0 ,\quad x = 0, 1, 2, \cdots
$$

透過泰勒展開式驗證卜瓦松分佈的機率總和為 $1$

$$
\begin{split}
\lim_{n \to \infty}\sum^{n}_{x = 0}\frac{\lambda^{x}e^{-\lambda}}{x!} &= e^{-\lambda}\lim_{n \to \infty}\sum^{n}_{x = 0}\frac{\lambda^{x}}{x!} \\
&= e^{-\lambda}e^{\lambda} = 1
\end{split}
$$

### Poisson Distribution MGF

假設時間被無限分割 $n = \infty$，使用泰勒展開式化簡

$$
\begin{split}
M(t) &= E(e^{tX}) \\
&= \sum_{x = 0}^{n}e^{tx}\frac{\lambda^x e^{-\lambda}}{x!} \\
&= e^{-\lambda}\sum_{x = 0}^{n}\frac{(\lambda e^t)^x}{x!} \\
&= e^{-\lambda}\sum_{x = 0}^{\infty}\frac{(\lambda e^t)^x}{x!} \\
&= e^{-\lambda}e^{\lambda e^t} \\
&= e^{\lambda(e^t - 1)}
\end{split}
$$

第一原動差 $\mu$ 為

$$
M'(t) = \lambda e^t e^{\lambda(e^t - 1)}
$$

$$
M'(0) = \mu = \lambda
$$

第二原動差 $E(X^2)$ 為

$$
M''(t) = \lambda e^t e^{\lambda(e^t - 1)} + \lambda^2 e^{2t}e^{\lambda(e^t - 1)}
$$

$$
M''(0) = \lambda + \lambda^2
$$

因此變異數 $Var$ 和標準差 $\sigma$ 為

$$
\begin{split}
Var &= E(X^2) - [E(X)]^2 \\
&= (\lambda + \lambda^2) - \lambda^2 \\
&= \lambda
\end{split}
$$

$$
\sigma = \sqrt{\lambda}
$$