# Introduction
這篇主要在講我們的隨機變數的收斂情況

這整章有一個非常重要的定理 : **大數法則(Large Sample Theory)**
簡單來說就是當我們的取樣數越來越大的時候
我們所估計出來的 **樣本平均值** 就會往 **母體(也就是真實)平均值** 靠近

# Types of Convergence
## 重要的收斂
總共會介紹 4 種重要的收斂 :
* Convergence in **Distribution** : $X_n \overset{d}{\longrightarrow} X$
* Convergence in **Probability** : $X_n \overset{p}{\longrightarrow} X$
* Convergence **Almost Surely** : $X_n \overset{as}{\longrightarrow} X$
* Convergence in **Quadratic Mean** : $X_n \overset{qm}{\longrightarrow} X$

---

Convergence in **Distribution**
$\lim\limits_{n \rightarrow \infty} F_n(t) = F(t),\ \text{for all } t$

**特色 :**
$X_n$ 的分布會很接近 $X$ 的分布
但 $X_n(w)$ 不一定接近 $X(w)$

---

Convergence in **Probability**
$P(|X_n - X| > \epsilon) \overset{n \rightarrow \infty}{\longrightarrow} 0,\ \text{for } \epsilon >0,\ n \rightarrow \infty$

**特色 :**
有很大比例的 $w$ 其 $X_n$ 和 $X$ 的值很接近
但有很小的比例 $X_n(w)$ 和 $X(w)$ 不接近

---

Convergence **Almost Surely**
$P(\left\{ w : X_n(w) \overset{n \rightarrow \infty}{\longrightarrow} X(w) \right\}) = 1$

**特色 :**
所有的 $w$ 其 $X_n$ 和 $X$ 都很接近

---

Convergence in **Quadratic Mean**
$\mathbb{E}(X_n - X)^2 \overset{n \rightarrow \infty}{\longrightarrow} 0,\ \text{for } n \rightarrow \infty$

**特色 :**
平均而言，$X_n$ 和 $X$ 的差距很小
換句話說，就是不會有任何一個 $w$ 其 $X_n$ 和 $X$ 的值差距太大

## 收斂間存在的關係
**單一變數**
* $X_n \overset{qm}{\longrightarrow} X \Rightarrow X_n \overset{p}{\longrightarrow} X$
證明 :
:::spoiler
令 $X_n = UNIF(0,\ \frac{1}{n}) = \begin{cases} \sqrt{n},\ 0 \le U \le \frac{1}{n} \\ 0,\ \frac{1}{n} \le U \le 1 \end{cases}$
$p$ :
$P(|X_n - 0| > \epsilon) = P(UNIF(0,\ \frac{1}{n}) > \epsilon) = P(0 \le U \le \frac{1}{n}) = \cfrac{1}{n} \overset{n \rightarrow \infty}{\longrightarrow} 0$
$qm$ :
$E(X_n - 0)^2 = EX_n^2 = (\sqrt{n})^2 \cdot P(X_n = \sqrt{n}) + 0^2 \cdot P(X_n = 0) = n \times \cfrac{1}{n} = 1 \overset{n \rightarrow \infty}{\nrightarrow} 0$
:::

* $X_n \overset{p}{\longrightarrow} X \Rightarrow X_n \overset{d}{\longrightarrow} X$

* $X_n \overset{d}{\longrightarrow} X \ \text{ and } \ P(X = c) = 1 \Rightarrow X_n \overset{p}{\longrightarrow} X$

---

**雙變數**
* $X_n \overset{p}{\longrightarrow} X \text{ and } Y_n \overset{p}{\longrightarrow} Y \Rightarrow X_n + Y_n \overset{p}{\longrightarrow} X + Y$

* $X_n \overset{qm}{\longrightarrow} X \text{ and } Y_n \overset{qm}{\longrightarrow} Y \Rightarrow X_n + Y_n \overset{qm}{\longrightarrow} X + Y$

* $X_n \overset{d}{\longrightarrow} X \text{ and } Y_n \overset{d}{\longrightarrow} c \Rightarrow X_n + Y_n \overset{d}{\longrightarrow} X + c$

* $X_n \overset{p}{\longrightarrow} X \text{ and } Y_n \overset{p}{\longrightarrow} Y \Rightarrow X_n Y_n \overset{p}{\longrightarrow} X Y$

* $X_n \overset{d}{\longrightarrow} X \text{ and } Y_n \overset{d}{\longrightarrow} c \Rightarrow X_n Y_n \overset{d}{\longrightarrow} cX$

* $X_n \overset{p}{\longrightarrow} X \Rightarrow g(X_n) \overset{p}{\longrightarrow} g(X)$

* $X_n \overset{d}{\longrightarrow} X \Rightarrow g(X_n) \overset{d}{\longrightarrow} g(X)$

上面的證明我都寫不出來哈哈
如果有大神會的話麻煩私訊我 orz