# A.2.7 Weak Law of Large Numbers

<font color = "snake">Law of Large Numbers (LLN)</font>，中文稱作「大數法則」，是在描述++當 sample 的數量成長到夠大的程度時，sample 的 mean 會有什麼樣的 behavior++
> 實際上就是 ++mean 會 converge 到 expected value++

- LLN 有分兩種，分別是 strong law of large numbers 和 weak law of large numbers，課本講的是後者。

不過，不管是哪一種，數學上的意思都是：

假如我們有 $n$ 個 Lebesgue integrable random variables $X_1,...,X_n$
> Lebesgue integrable 大致上的意思就是保證這些 random variables 的 expected value （根據 Lebesgue integration 的定義下）存在且為 finite

且 $E[X_1] = E[X_2] = ... = E[X_n] = \mu$，那麼：

> 當 $n$ 夠大時，這些 random variable 的平均會趨近於 expected value。

LLN 的重要性在於它保證了對一些 random events，長期穩定下來的平均結果會是如何。

不過要注意的是，LLN 是在說當我們的 $N$ 夠大時，++平均++的結果會收斂到 expected value，但它並不保證當 $N$ 越來越大時，如果我們把這 $N$ 次的結果加總，得出來的值會越來越接近 $\mu\times N$。

## 定義：Weak Law of Large Numbers
如果我們令：

\begin{equation}
X = \{X^t\}_{t=1}^n
\end{equation}

為一個 independent and identically distributed (iid) 的 random variables 所成的 set，其中：
> Note：回顧一下以前提過的 iid 的定義：
>
> 我們說一個 random variables 的 collection 是 iid，那麼代表的是這些 random variables 的 probability distribution 相同，並且 random variables 之間是 mutually independent 的。

- 每個 random variable 的 mean 為 $\mu$
>（也就是說，$E[X_1] = E[X_2] = ... = E[X_n] = \mu$）
- variance $\sigma^2$ 為 finite。

那麼，對任何的 $\epsilon>0$，滿足：

> 意義也就是說：
>
> 當我們的 sample 數夠大時（當 $N\rightarrow\infty$）
> 不管我們給（多大）多小的 $\epsilon$
> sample 中那些 random variables 取總和再算平均（$\frac{\sum_tX^t}{N}$），和這些 random variables 的 expected value 之間的差距，大於 $\epsilon$ 的機率趨近於零。

白話來說，不管我們任取多小的 $\epsilon$，如果我們的 sample sufficiently large，那麼幾乎不會發生 observation 的平均和 expected value 差距大到比 $\epsilon$ 還大這種事。
（換句話說，有很高的機率我們的 observation 的平均會接近 expected value）
> 反過來講的數學寫法也就是：
> 

再用更簡單的例子，它其實就是在說假如我們不斷地擲硬幣，當擲得夠多次以後，最後 head 和 tail 出現的機率基本上就會趨近 $1\over2$。