# A.1 Elements of Probability

本節簡單介紹各種名詞與定義。

## random experiment
<font color = "snake">random experiment</font>：在做之前無法預測結果的 experiment 就稱作 random experiment。

## sample / outcome space

在我們做一個 random experiment 之前，儘管我們沒辦法去預測它的結果，但是所以可能的結果是我們能夠知道的，而且我們能夠去描述，甚至可能可以列出這些所有可能的結果。因此，我們定義：

<font color = "snake">sample / outcome space </font> ==$S$==：所有可能的結果所成的集合（the collection of all possible outcomes）
> ML 課本稱為 sample space，probability 課本稱為 outcome space。

- 此外，probability 課本將被 random variable $X$ map 到實數後的 outcomes 所成的集合稱為 <font color = "snake">space</font>，數學定義為：

\begin{equation}
\begin{split}
&S: \text{outcome space} \\
&\text{space of} \ X = \{x|X(s) = x, s \in S\}
\end{split}
\end{equation}

> 也就是說：
> - outcome space 指實際做出來的實驗結果的集合如 {male, female}
> - space 指 map 到的數值集合 $\{0,1\}$ 若 $X(\text{male}) = 0$， $X(\text{female}) = 1$

$\rightarrow$ 我們說一個 sample space 是 <font color = "snake">discrete</font> 的，如果它是由 finite（或 countably infinite）個結果所組成；相反的，我們就稱 sample space <font color = "snake">continuous</font>。

## event

<font color = "snake">event</font> ==$E$==： 給定某個sample space $S$，若 $E$ 是 $S$ 的一個 subset（$E \subset S$），則稱 $E$ 為一個 event。
> probability 課本用的符號為 $A$，我沿用 ML 課本的用法用 $E$ 表示 event。

如果我們去做一個 random experiment，結果這個 experiment 的 outcome 在 $E$ 之中，那我就說 <font color = "snake">event $E$ has occured</font>。

$\rightarrow$ 因為 events 也是集合，所以我們可以去討論 event 之間的 complement, intersection, union...。

另外關於 events 有幾個常用的 terms：

### mutually exclusive events

如果我們有 $k$ 個 events： $E_1,...,E_k$
我們說 $E_1,...,E_k$ 是 <font color = "snake">mutually exclusive events</font>，就是在說他們滿足：

\begin{equation}
E_i \ \cap \ E_j = \emptyset \qquad i \ne j
\end{equation}

意思就是 $E_1,...,E_k$ 是 ++disjoint sets++。

### exhaustive events

如果我們有 $k$ 個 events： $E_1,...,E_k$，且我們的 sample space $=S$
則我們說 $E_1,...,E_k$ 是 <font color = "snake">exhaustive events</font> 若它們滿足：

\begin{equation}
E_1 \ \cup \ E_2 \ \cup \ ... \ \cup \ E_k = S
\end{equation}

## probability

### probability 課本的定義

$P()$ 是一個 function，會把 sample space $S$ 裡所有的 events map 到某個值，並且滿足上圖中的三個條件。

### ML 課本的解釋

其中一種解釋 probability 的方式是把它想成 frequency。

如果我們在相同的條件下不斷重複做一個實驗，對任何 event $E$，發生結果是 $E$ 佔所有時候的比例如果達到某個常數，那麼這個限制頻率的常數就是這個 <font color = "snake">event $E$ 的 probability</font>，我們用 ==$P(E)$== 表示。

另一種解釋 probability 的方式是想成 "degree of belief"。
> 舉例來說：
>
> 當我們說 「2018 年土耳其贏世足賽的機率」，此時機率的意思並不是如第一種想法一樣想成當這個事件發生非常多次時，有幾次是這種情況，因為此時我們的 event 只會發生一次。

$\rightarrow$ 因為 degree of belief 是主觀的，所以不同人可能會對同一個 event assign 不同的機率。

# 參考資料

- Hogg,Tanis,Zimmerman, Probability and Statistical Inference, 9th ed(2015), p.2-3, 6