---
# System prepended metadata

title: A.3.3 Multinomial Distribution
tags: [ML]

---

# A.3.3 Multinomial Distribution
## 定義

延續 $A.3.1$，如果我們將 Bernoulli distribution （只有兩個 states，"success"（$1$）和 "failure"（$0$））generalize 到多個 states：

也就是說一個 random event 的 outcome 是 ++$K$ 個 mutually exclusive 且 exhaustive 的 states++ 中的其中一個。
> - mutually exclusive：任兩個相異的 states 相交 $=\phi$，也就是說不會有兩個 states 同時發生
> - exhaustive：所有的 $K$ 個 states 聯集 $=$ sample space，也就是所有可能的 outcomes 都被涵蓋在這 $K$ 個 states 中。

那麼若這 $K$ 個 states 每個發生的機率都令為 $p_i$，則滿足：

\begin{equation}
\sum_{i=1}^Kp_i = 1
\end{equation}

假設有 $N$ 個這樣的 trials，其中 outcome 是 $i$ 的次數令為 $N_i$，且：

\begin{equation}
\sum_{i=1}^KN_i = N
\end{equation}

則 $N_1, N_2,...,N_K$ 的 joint distribution 是 multinomial 的：

![image](https://hackmd.io/_uploads/HJweHRqNR.png)


## 特例

$A.38$ 的特例是當 $N=1$ 時：

我們只有一個 trial（只執行這個 random experiment 一次），則所有的 $N_i$ 都是 $0/1$ indicator
> 因為只有一個 trial，所以 outcome 只有一個，因此所有的 states 裡面只有一個會發生，因此只有一個 $N_i$ 會是 $1$，其他都是 $0$。

滿足：

![image](https://hackmd.io/_uploads/ryjMD05N0.png)
