---
# System prepended metadata

title: mathstat_ch5_Convergence_5.1-5.2
tags: [mathematic statistics]

---

# Introduction  
這篇主要在講我們的隨機變數的收斂情況  

這整章有一個非常重要的定理 : **大數法則(Large Sample Theory)**  
簡單來說就是當我們的取樣數越來越大的時候  
我們所估計出來的 **樣本平均值** 就會往 **母體(也就是真實)平均值** 靠近  



# Types of Convergence  
## 重要的收斂  
總共會介紹 4 種重要的收斂 :  
* Convergence in **Distribution** : $X_n \overset{d}{\longrightarrow} X$  
* Convergence in **Probability** : $X_n \overset{p}{\longrightarrow} X$  
* Convergence **Almost Surely** : $X_n \overset{as}{\longrightarrow} X$  
* Convergence in **Quadratic Mean** : $X_n \overset{qm}{\longrightarrow} X$  

---

Convergence in **Distribution**  
$\lim\limits_{n \rightarrow \infty} F_n(t) = F(t),\ \text{for all } t$  

**特色 :**  
$X_n$ 的分布會很接近 $X$ 的分布  
但 $X_n(w)$ 不一定接近 $X(w)$  

---

Convergence in **Probability**  
$P(|X_n - X| > \epsilon) \overset{n \rightarrow \infty}{\longrightarrow} 0,\ \text{for } \epsilon >0,\ n \rightarrow \infty$  

**特色 :**  
有很大比例的 $w$ 其 $X_n$ 和 $X$ 的值很接近  
但有很小的比例 $X_n(w)$ 和 $X(w)$ 不接近  


---

Convergence **Almost Surely**  
$P(\left\{ w : X_n(w) \overset{n \rightarrow \infty}{\longrightarrow} X(w) \right\}) = 1$  

**特色 :**  
所有的 $w$ 其 $X_n$ 和 $X$ 都很接近  


---

Convergence in **Quadratic Mean**  
$\mathbb{E}(X_n - X)^2 \overset{n \rightarrow \infty}{\longrightarrow} 0,\ \text{for } n \rightarrow \infty$  

**特色 :**  
平均而言，$X_n$ 和 $X$ 的差距很小  
換句話說，就是不會有任何一個 $w$ 其 $X_n$ 和 $X$ 的值差距太大  



## 收斂間存在的關係  
**單一變數**  
* $X_n \overset{qm}{\longrightarrow} X \Rightarrow X_n \overset{p}{\longrightarrow} X$  
證明 :  
	:::spoiler  
	令 $X_n = UNIF(0,\ \frac{1}{n}) = \begin{cases} \sqrt{n},\ 0 \le U \le \frac{1}{n} \\ 0,\ \frac{1}{n} \le U \le 1 \end{cases}$  
	$p$ :  
	$P(|X_n - 0| > \epsilon) = P(UNIF(0,\ \frac{1}{n}) > \epsilon) = P(0 \le U \le \frac{1}{n}) = \cfrac{1}{n} \overset{n \rightarrow \infty}{\longrightarrow} 0$  
	$qm$ :  
	$E(X_n - 0)^2 = EX_n^2 = (\sqrt{n})^2  \cdot P(X_n = \sqrt{n}) + 0^2 \cdot P(X_n = 0) = n \times \cfrac{1}{n} = 1 \overset{n \rightarrow \infty}{\nrightarrow} 0$  
	:::  

* $X_n \overset{p}{\longrightarrow} X \Rightarrow X_n \overset{d}{\longrightarrow} X$  

* $X_n \overset{d}{\longrightarrow} X \ \text{ and } \ P(X = c) = 1 \Rightarrow X_n \overset{p}{\longrightarrow} X$  

---


**雙變數**  
* $X_n \overset{p}{\longrightarrow} X \text{ and } Y_n \overset{p}{\longrightarrow} Y \Rightarrow X_n + Y_n \overset{p}{\longrightarrow} X + Y$  

* $X_n \overset{qm}{\longrightarrow} X \text{ and } Y_n \overset{qm}{\longrightarrow} Y \Rightarrow X_n + Y_n \overset{qm}{\longrightarrow} X + Y$  

* $X_n \overset{d}{\longrightarrow} X \text{ and } Y_n \overset{d}{\longrightarrow} c \Rightarrow X_n + Y_n \overset{d}{\longrightarrow} X + c$  

* $X_n \overset{p}{\longrightarrow} X \text{ and } Y_n \overset{p}{\longrightarrow} Y \Rightarrow X_n Y_n \overset{p}{\longrightarrow} X Y$  

* $X_n \overset{d}{\longrightarrow} X \text{ and } Y_n \overset{d}{\longrightarrow} c \Rightarrow X_n Y_n \overset{d}{\longrightarrow} cX$  

* $X_n \overset{p}{\longrightarrow} X \Rightarrow g(X_n) \overset{p}{\longrightarrow} g(X)$  

* $X_n \overset{d}{\longrightarrow} X \Rightarrow g(X_n) \overset{d}{\longrightarrow} g(X)$  


上面的證明我都寫不出來哈哈  
如果有大神會的話麻煩私訊我 orz  











































