Probability (I), Benson
===

[TOC]

# Week 1

# Probability

## Difference between Probability and Statistics

- **機率**：機率模型*已知*，我們如何計算某些事件發生的機率
- Ex: 已知一骰子為公平骰，看到偶數的機率為何？
- **統計**：機率模型*未知*，我們如何透過大量實驗結果建立機率模型
- Ex: 不知一骰灌鉛否，欲知各點出現之機率模型？

## 集合論 (Set)

- 機率函數的*自變數*是：事件
- 而**事件**是一種**集合**

### De Morgan's Law
- $(A\cup B)^C = A^C\cap B^C$
- $^C$ 表示補集
- 證明參考投影片

## 機率名詞

一個機率實驗 (Experiment) 包含了
1. 步驟(procedures)
2. 模型(model)
3. 觀察(observations)

- 結果(outcome)是實驗中可能的結果
- 樣本空間(sample space)是機率實驗所有可能的結果的集合，通常用 $S$ 來表示
- 事件(event)指的是對於實驗結果的某種敘述，可以看成是「結果(outcome)」的集合，亦即是「樣本空間(sample space)」的子集
- 事件空間(event space)是包含所有事件的集合

機率可以看成是一個映射
$P(事件) = 0.6 \implies$ 機率函數的自變數是：**事件**！
**機率函數是從「事件空間」映射到 $[0, 1)$**

---
# Week 2

# Axioms of Probability 機率三公理
1. 對任何事件 $A$ 而言，$P(A)\geq 0$
2. $P(S) = 1$，$S$ 即宇集
3. 事件 $A_1, A_2, ...$ 互斥，$\implies P(A_1\cup A_2\cup ...) = P(A_1)+P(A_2)+...$

# 公理衍伸之機率性質(可證)

- 若 $E = \{o_1,o_2,...,o_n\}$，則 $P(E) = P(\{o_1\})+P(\{o_2\})+...+P(\{o_n\})$
- $P(\phi)=0$
- $P(A) = 1-P(A^C)$
- $P(A) = P(A-B) + P(A\cap B)$
- $P(A\cup B) = P(A)+P(B)-P(A\cap B)$

## 切麵包定理

(圖)

若 $C_1, C_2, ... ,C_n$ 互斥且 $C_1\cup C_2\cup...\cup C_n = S$ 則對任何事件 $A$：$P(A) = P(A\cap C_1)+P(A\cap C_2)+...+P(A\cap C_n)$

## Boole's 不等式
$P(\cup_{i=1}^n A_i)\leq \sum_{i=1}^n P(A_i)$

## Bonferroni's 不等式
$P(\cap_{i=1}^n A_i)\geq1-\sum_{i=1}^n P(A_i^C)$

# Conditional Probability 條件機率

$P(X|Y) = \dfrac{P(X\cap Y)}{P(Y)}$

## 講法
- condition on
- Suppose
- if
- Assuming
- given that

## Properties of Conditional Probability

1. $P(X|Y) = \dfrac{P(X\cap Y)\geq0}{P(Y)\geq 0}\geq 0$
2. $P(Y|Y) = 1$
3. $A, B$ 互斥$\implies P(A\cup B|Y) = \frac{P(A)}{P(Y)}+\frac{P(B)}{P(Y)} = P(A|Y) + P(B|Y)$

## Total Probability 定理

若 $C_1, C_2, ..., C_n$ 互斥且 $C_1\cup C_2\cup ... \cup C_n = S$，則對任意事件 $A$，我們有：
$P(A) = P(A|C_1)P(C_1)+P(A|C_2)P(C_2)+...+P(A|C_n)P(C_n)$
- 可直接由切麵包定理推得

## Bayes' Rule 貝式定理

若 $C_1, C_2, ..., C_n$ 互斥且 $C_1\cup C_2\cup ...\cup C_n=S$
則對任意事件 $A$，我們有：
$P(C_j|A) = \dfrac{P(A|C_j)P(C_j)}{\sum_{i=1}^nP(A|C_i)\cdot P(C_i)}$

## 要不要換?

(+圖文)

(利用切麵包定理?)
$C_1$: 第一次就抽到大獎
$C_2$: 第一次沒抽到大獎
$A$: 換了拿大獎
$A^c$: 換了沒拿到大獎

$P(C_1) = 1/3$
$P(C_2) = 2/3$

$P(A) = P(A|C_1)P(C_1) + P(A|C_2)P(C_2)\\
=0\cdot 1/3 + 1\cdot 2/3 \\
= 2/3$

---
# Week 3

# Independence 機率的獨立性

## 常見定義
若兩事件 $A, B$ 之機率滿足
$P(A\cap B) = P(A)\cdot P(B)$
則 $A, B$ 稱為機率上的獨立事件

## 更好的定義

$P(A|B) = P(A)$ 則稱 $A, B$ 獨立

## 多事件之獨立

若事件 $A_1, A_2, ..., A_n$ 滿足下列條件，則稱此 $n$ 事件獨立 ($n>2$)
- 從中任選 $m$ 事件 $A_{i_1}, A_{i_2}, ...,A_{i_m}$ 均滿足 $P(A_{i_1}\cap A_{i_2}\cap...\cap A_{i_m}) = P(A_{i_1})P(A_{i_2})...P(A_{i_m}),\,m=2,3,...,n$

# 圖解繁複機率

略

# 排列組合算機率(數數)

## 重要判斷
- 所有物件是否可區分?
- 實驗中抽選的物件是否放回供下次抽選?
- 抽選順序是否有差異?

(以下略)
## 排列

## 重複選取

## 組合

## 多項組合

## 應用在機率上

---
# Week 4

# Random Variable

- *隨機變數* 的本質是 **函數**
- input 是 outcome，output 是實數
## 離散 RV v.s. 連續 RV
- 離散 R.V. 的值是有限個，或是「可數的」無窮多個
- 連續 R.V. 的值是有無窮多個，而且是「不可數」的無窮多個
## 無窮集合的元素數量
- 正整數的集合 跟 正偶數的集合，裡面的東西**一樣多**
- 「長度為一的線段上的點」跟「邊長為一的正方形上的點」數量一樣多

**一樣多是因為都可以找到一對一的映射**
## RV 的函數
- *隨機變數的函數* 也是 **隨機變數**

# CDF (Cumulative Distribution Function 累積分布函數)
- CDF 就是 機率
- $F_X(x) \triangleq P(X\leq x)$
- $P(a<X\leq b) = F_X(b) - F_X(a)$

## CDF 性質
- discrete R.V. 的 CDF
- continuous 的 CDF

# PMF (Probability Mass Function 機率質量函數)
- $p_X(x) \triangleq P(X=x)$
- 任何一個 PMF (或之後介紹的PDF) 都是一種機率分布
- 機率分布：將總和為 1 的機率 分布在點上

## Relationship between PMF and CDF
- $F_X(x) = \sum_\limits{n=-\infty}^{\lfloor x\rfloor}p_X(n)$
- $P_X(x) = F_X(x^+)-F_X(x^-)$

---
# Week 5

# Discrete Probability Distributions

## Bernoulli distribution
- **一次實驗**，2種結果。在意某結果是否發生 => Bernoulli 機率分布
- 實驗成功機率為 $p$，做 $1$ 次實驗，$X$ 表示成功次數，則 $X\sim Bernoulli(p)$

## Binomial distribution
- **n 次實驗，出現某結果 $x$ 次**之機率 -> Binomial 機率分布
- 實驗成功機率 $p$，做 $n$ 次實驗，$X$ 表示成功次數，則 $X\sim BIN(n, p)$
- $p_x(k) = P(X=k) = C^n_k p^k(1-p)^{n-k}$

## Uniform distribution

- $1$ 次實驗，$n$ 種結果，各結果機率相等，在意某結果發生否 -> Uniform distribution
- $X \sim UNIF(3, 7)$

## Geometric distribution

- 某 outcome 發生的機率為 $p$，做第 $X$ 次實驗才發生該 outcome，$X=x$ 的機率?
- 機率 = $(1-p)^{x-1}\times p$
- $X\sim Geometric(p)$
- 有 **失憶** 性質，即機率分布和已經做了多少次實驗無關，詳見 Probability (II) 的 **Exponential Distribution**

### CDF of Geometric distribution


## Pascal Distribution

- 某實驗成功機率為 $p$，在第 $X$ 次實驗正好成功第 $k$ 次，$X=x$ 的機率？
- $C_{k-1}^{x-1}\times(1-p)^{x-k}\times p^{k-1}\times p = C_{k-1}^{x-1}\times(1-p)^{x-k}\times p^{k}$

## Poisson Distribution
- 某 outcome 出現之平均速率已知，問持續觀察某時間長度後，看到該結果出現 $k$ 次之機率。ex:
- 平均每小時會有 10 人買消夜，則擺攤 5 小時有 60 人光顧之機率?
- 平均每分鐘會有 5 人按讚，發文後 20 分鐘變成 $X = 100$ 個讚之機率?

### PMF of Poisson Distribution
- 已知某事發生速率為每單位時間 $\lambda$ 次，則觀察 $T$ 時間單位，總共發生該事件 $X$ 次。
- $X\sim POI(\lambda T)$
- $p_X(x) = p(X = x) = e^{-\lambda T}\cdot\dfrac{(\lambda T)^x}{x!}$
- $\mu = \lambda T, X\sim POI(\mu) \implies P_X(x) = e^{-\mu}\cdot\dfrac{\mu^x}{x!}$

### CDF of Poisson Distribution
$F_X(x) = \sum_\limits{n=-\infty}^{\lfloor x\rfloor}p_X(x) = \left\{\begin{matrix} \sum_\limits{n=-\infty}^{\lfloor x\rfloor}e^{-\mu}\cdot\dfrac{\mu^n}{n!},\quad x=0, 1, 2... \\ 0,\quad\quad otherwise \end{matrix}\right.$

### Poissson 公式推導、Poisson 和 Binomial 之關係
$\delta_T$

###### tags: `lecture note` `probability`