---
# System prepended metadata

title: A.1.2 Conditional Probability
tags: [ML]

---

# A.1.2 Conditional Probability

==$P(E|F)$==： event $F$ 發生的情況下， event $E$ 發生的機率，也就是：

![A.3](https://hackmd.io/_uploads/BkN9EC-GR.png)
> 因為我們把條件限制在 $F$ 發生的情況下，所以我們的 sample space 被 reduce 到 $F$，然後在被限縮的 sample space 中 $E$ 也發生就變成 $E \ \cap \ F$
> - 如果上式要 well-defined，則須 $P(F)>0$

並且，因為交集滿足交換律，所以我們可以得到：

![image](https://hackmd.io/_uploads/H1iISAZzC.png)

取右邊兩部分再搬一下我們就得到了 <font color = "green">Bayes' formula</font>：

![A.4](https://hackmd.io/_uploads/S1p2S0-zR.png)
> - Bayes' rule 在 classification 中被用於計算各個 classes 的機率。

如果我們說 $F_i$ 是 <font color = "snake">exhaustive</font>，那麼 $\bigcup_{i=1}^nF_i = S$
> 也就是說蒐集所有 event $F_i$，把他們裡面的 outcomes 集合起來，如果可以得到整個 sample space（蒐集 all possible outcomes），那就是 exhaustive。

如果 $F_i$ 滿足 mutually exclusive 也滿足 exhaustive，那麼：

![image](https://hackmd.io/_uploads/S1s8vCZGA.png)

舉個例子比較清楚：

![image](https://hackmd.io/_uploads/BkCSuRWzC.png)

我們可以由上面這個式子得到：

![A.5](https://hackmd.io/_uploads/H1qcOC-GA.png)
> 第一個等號的原因：
>> 因為 $E$ 是去聯集所有 $i=1,...n$ 的 $E \ \cap \ F_i$，而由前面一節的 $A.1$ 我們知道要去計算許多 event 聯集的機率，等於計算每個 event 的機率再相加（前提是它們要是 mutually exclusive）
>> 
> 第二個等號的原因：
>> $P(E \ \cap \ F) = P(E|F)P(F)$

根據 Bayes 加上上述的式 $A.5$：

![A.6](https://hackmd.io/_uploads/rJxm5AbfR.png)
> 分子：
> ![image](https://hackmd.io/_uploads/SJU2j0WzR.png)
> 分母：
> 式 $A.5$，只是避免和分子用相同的 index，所以 index 換成 $j$

並且，如果 $E$ 和 $F$ independent（也就是說 event $E$ 發生與否對 event $F$ 發生的機率不影響，反之亦然） ，我們可以得到：

$P(E|F) = P(E)$
> 「$F$ 發生的情況下 $E$ 發生的機率」和「$E$ 發生的機率」相同。

因此我們得到：

![A.7](https://hackmd.io/_uploads/rJSa3RWM0.png)
> $E$ 發生且 $F$ 也發生的機率，就等同兩個各自發生的機率相乘（因為是獨立事件），意思就是 $F$ 不管發不發生都不會影響到 $E$ 發生的機率。
> 
> 舉例來說：
> 骰子第一個骰到 $1$，且第二個骰到 $2$ 的機率，是 ${1/6} \ \times \ {1/6}$ 
> 我們的 $E$ 是骰到 $1$ 的機率，$F$ 是骰到 $2$ 的機率，$P(E) = P(F) = {1/6}$
