Introduction

這篇主要在講我們的隨機變數的收斂情況

這整章有一個非常重要的定理 : 大數法則(Large Sample Theory)
簡單來說就是當我們的取樣數越來越大的時候
我們所估計出來的 樣本平均值 就會往 母體(也就是真實)平均值 靠近

Types of Convergence

重要的收斂

總共會介紹 4 種重要的收斂 :

• Convergence in Distribution :
  $X_n\stackrel{d}{⟶}X$
• Convergence in Probability :
  $X_n\stackrel{p}{⟶}X$
• Convergence Almost Surely :
  $X_n\stackrel{as}{⟶}X$
• Convergence in Quadratic Mean :
  $X_n\stackrel{qm}{⟶}X$

---

Convergence in Distribution

$\underset{n\to \mathrm{\infty }}{lim}{F}_n(t)=F(t),\text{for all }t$

特色 :

$X_n$ 的分布會很接近

$X$ 的分布
但

$X_n(w)$ 不一定接近

$X(w)$

---

Convergence in Probability

$P(|X_n-X|>ϵ)\stackrel{n\to \mathrm{\infty }}{⟶}0,\text{for }ϵ>0,n\to \mathrm{\infty }$

特色 :
有很大比例的

$w$ 其

$X_n$ 和

$X$ 的值很接近
但有很小的比例

$X_n(w)$ 和

$X(w)$ 不接近

---

Convergence Almost Surely

$P(\{w:X_n(w)\stackrel{n\to \mathrm{\infty }}{⟶}X(w)\})=1$

特色 :
所有的

$w$ 其

$X_n$ 和

$X$ 都很接近

---

Convergence in Quadratic Mean

$\mathbb{E}(X_n-X{)}^2\stackrel{n\to \mathrm{\infty }}{⟶}0,\text{for }n\to \mathrm{\infty }$

特色 :
平均而言，

$X_n$ 和

$X$ 的差距很小
換句話說，就是不會有任何一個

$w$ 其

$X_n$ 和

$X$ 的值差距太大

收斂間存在的關係

單一變數

• $X_n\stackrel{qm}{⟶}X\Rightarrow X_n\stackrel{p}{⟶}X$
  證明 :

  令

  $X_n=UNIF(0,\frac{1}{n})=\{\begin{array}{l}\sqrt{n},0\le U\le \frac{1}{n}\\ 0,\frac{1}{n}\le U\le 1\end{array}$
  

  $p$ :
  

  $P(|X_n-0|>ϵ)=P(UNIF(0,\frac{1}{n})>ϵ)=P(0\le U\le \frac{1}{n})=\frac{1}{n}\stackrel{n\to \mathrm{\infty }}{⟶}0$
  

  $qm$ :
  

  $E(X_n-0{)}^2=E{X}_n^2=(\sqrt{n}{)}^2\cdot P(X_n=\sqrt{n})+0^2\cdot P(X_n=0)=n\times \frac{1}{n}=1\stackrel{n\to \mathrm{\infty }}{\nrightarrow }0$

• $X_n\stackrel{p}{⟶}X\Rightarrow X_n\stackrel{d}{⟶}X$

• $X_n\stackrel{d}{⟶}X\text{ and }P(X=c)=1\Rightarrow X_n\stackrel{p}{⟶}X$

---

雙變數

• $X_n\stackrel{p}{⟶}X\text{ and }{Y}_n\stackrel{p}{⟶}Y\Rightarrow X_n+Y_n\stackrel{p}{⟶}X+Y$

• $X_n\stackrel{qm}{⟶}X\text{ and }{Y}_n\stackrel{qm}{⟶}Y\Rightarrow X_n+Y_n\stackrel{qm}{⟶}X+Y$

• $X_n\stackrel{d}{⟶}X\text{ and }{Y}_n\stackrel{d}{⟶}c\Rightarrow X_n+Y_n\stackrel{d}{⟶}X+c$

• $X_n\stackrel{p}{⟶}X\text{ and }{Y}_n\stackrel{p}{⟶}Y\Rightarrow X_n{Y}_n\stackrel{p}{⟶}XY$

• $X_n\stackrel{d}{⟶}X\text{ and }{Y}_n\stackrel{d}{⟶}c\Rightarrow X_n{Y}_n\stackrel{d}{⟶}cX$

• $X_n\stackrel{p}{⟶}X\Rightarrow g(X_n)\stackrel{p}{⟶}g(X)$

• $X_n\stackrel{d}{⟶}X\Rightarrow g(X_n)\stackrel{d}{⟶}g(X)$

上面的證明我都寫不出來哈哈
如果有大神會的話麻煩私訊我 orz