# 三、抽樣與估計
###### tags: `統計學`
**推論統計學**的目的是要從樣本推知母體，例如從樣本統計量**估計**母體參數。

抽樣必有**抽樣誤差**，誤差有多大，需要透過**抽樣分配**與**中央極限定理**來了解。
## 3.1 抽樣方法
推論統計的首要任務是建立一個具有**代表性**的**隨機樣本**。「隨機」意味著：(1) 可以從母體抽取無限多個大小均為 $n$ 的樣本，每個樣本被抽出的機率相同。(2) 在每個樣本大小為 $n$ 的樣本中，每個樣本點被抽取的機率相同。
### 3.1.1 簡單隨機抽樣
**簡單隨機抽樣**可以利用抽籤、**亂數表**或任何隨機的方式來抽取一定數量的樣本點。
### 3.1.2 系統隨機抽樣
**系統隨機抽樣**，又稱**等距抽樣法**，將母體中所有樣本點排列妥當後，抽取每隔特定比數的樣本點，每個樣本點被選中的機率不會受到系統外因素的影響。要注意樣本數越大，抽取的間隔必須越小，還有第一筆樣本點也要隨機選取。
### 3.1.3 分層隨機抽樣
當母體本身有明確的結構特性，或是某個結構因素對研究結果的影響非常明顯，在簡單隨機抽樣時可以用人為的手段，設定某種性質的特定抽樣比例（例如男女比為 $4:6$），使樣本結構與母體結構維持一致，此為**分層隨機抽樣**，又稱**比例抽樣法**。
### 3.1.4 叢集隨機抽樣
**叢集隨機抽樣**，又稱**多階段隨機抽樣**，使用的理由類似分層隨機抽樣，但是將母體分成較小的**基本單位**（例如地理區域），再隨機從這些基本單位抽取一定比例的叢集來進行最終階段的簡單隨機抽樣。

## 3.3 抽樣分布與抽樣誤差
## 3.3.1 抽樣分布
母體分布
樣本分布
抽樣分布：抽樣過程中，從樣本上計算得出的**統計量**可能構成的機率分布。
- 例如從一母體分布為 $(\mu,\sigma^2)$ 的母體中重複抽取大小為 $n$ 的樣本（即 $X_1, X_2,\ldots, X_n$）無數次，這些樣本的某種統計量（例如平均數 $\overline{X}_1, \overline{X}_2, \ldots$）可再做一次統計，得到一個以 $E(\overline{X})$ 為平均數、以 $\sigma_\overline{X}^2$ 為變異數的抽樣分布，稱為**平均數的抽樣分布**
- 其中 $$E(\overline{X})=E\left(\frac{\sum^n_{i=1}X_i}{n}\right)=\frac{1}{n}\sum^n_{i=1}E(X_i)=\frac{n\mu}{n}=\mu$$ 以及 $$\sigma_\overline{X}^2=\text{Var}\left(\frac{\sum^n_{i=1}X_i}{n}\right)=\frac{1}{n}\sum^n_{i=1}\text{Var}\left(X_i\right)=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}$$

如果已知母體標準差 $\sigma$，那麼抽取無限多份大小為 $n$ 的樣本，每個樣本各有一個平均值，則**樣本平均值的標準差**（standard deviation of sample mean，樣本一詞常省略）可證明為 $$\sigma_{\overline{x}}=\text{SD}_{\overline{x}}=\frac{\sigma}{\sqrt{n}}.$$
但由於通常 $\sigma$ 為未知，此時可以用樣本標準差 $s$ 來估計 $\text{SD}_{\overline{x}}$，此為**樣本平均值的標準誤**（standard error of sample mean，樣本一詞常省略，甚至直接簡稱**標準誤**） $$\hat{\sigma}_{\overline{x}}=\text{SE}_{\overline{x}}=\frac{s}{\sqrt{n}}.$$

> 「標準誤」針對樣本統計量而言，是==針對某個樣本統計量的標準差==。當談及標準誤差時，一般須指明對應的樣本統計量才有意義。以下以樣本平均數（樣本平均數是一種樣本統計量）作為例子：
>
> 例如，==樣本平均數是母體平均數的不偏估計==。但是，來自同一總量的不同樣本可能有不同的平均值。
>
> 於是，假設可以從母體中隨機選取無限的大小相同的樣本，那每個樣本都可以有一個樣本平均數。依此法可以得到一個由無限多樣本平均數組成的母體，該母體的標準差即為標準誤差。
>
> 在很多實際應用中，標準差的真正值通常是未知的。因此，「標準誤」這個術語通常運用於代表這一未知標準差的估計。

## 3.4 參數估計
- **參數估計**：由**樣本統計量**推知**母體參數**，例如用樣本平均數 $\overline{X}$ 推知母體平均數 $\mu$，用樣本變異數 $s^2$ 推知母體變異數 $\sigma^2$
- 以單一統計量估計⋯⋯點估計
- 以統計量區間估計（因帶有抽樣誤差訊息）⋯⋯區間估計
- 估計，是利用母體**參數空間**中的一個隨機樣本去推知未知的參數，「樣本出現的事件在樣本空間中構成的機率模型」應該要能反映「參數空間的機率模型」，如此從樣本計算的統計量，才能在正確的機率分布下不偏地推估參數。
- 優異的估計必須帶有三個特徵
1. 不偏性：樣本統計量的期望值必須等於母體參數，即 $E(\hat\theta)=\theta$
2. 一致性：樣本放大時，樣本統計量收斂接近母體參數 $\hat\theta_i \to\theta$ 。
3. 有效性：若有兩個統計量的期望值等於參數，較低變異的統計量較為有效。
### 3.4.1 平均數的區間估計
前提：假設對任一樣本，只要樣本數夠大（例如大於 $30$），則抽樣分布為常態分布 $\overline{X}_i\sim \left(\mu_\overline{X}, \sigma_\overline{X}^2\right)$。

今抽取一樣本，得樣本平均數 $\overline{X}$，如果 $\overline{X}$ 出現在母體平均數 $\mu$ 附近，則：
- 以 $\overline{X}$ 為中心的正負一個標準誤的範圍內有 $68.26\%$ 的機率涵蓋到母體平均數 $\mu$
- 以 $\overline{X}$ 為中心的正負兩個標準誤的範圍內有 $95.44\%$ 的機率涵蓋到母體平均數 $\mu$
- 以 $\overline{X}$ 為中心的正負三個標準誤的範圍內有 $99.74\%$ 的機率涵蓋到母體平均數 $\mu$

以上三種區間稱為==母體平均數 $\mu$ 的區間估計的信賴區間==；
以上三個機率值稱為==母體平均數 $\mu$ 的區間估計的信心水準==。

在特定信心水準下所進行的估計，會有 $$\alpha = 1- 信心水準$$ 的錯誤率（$\mu$ 在信賴區間之外的機率）。例如一般在學術或實務應用，區間估計最常用的信心水準是 $95\%$，錯誤率（型一錯誤的發生率） $\alpha = .05$。

就實務而言，通常以信心水準或錯誤率為準去決定信賴區間的範圍。由常態分布機率表可以查出 $\alpha =.05$ 與 $\alpha =.01$ 分別對應的信賴區間為 $1.96$ 與 $2.58$ 倍的標準誤，因此母體平均數 $\mu$ 的區間估計應表述如下：

$\mu$ 的 $95\%$ 信賴區間（$95\%\ \text{CI}$）：$\overline{X}-1.96\sigma_\overline{X} \le \mu \le \overline{X}+1.96\sigma_\overline{X}$，
$\mu$ 的 $99\%$ 信賴區間（$99\%\ \text{CI}$）：$\overline{X}-2.58\sigma_\overline{X} \le \mu \le \overline{X}+2.58\sigma_\overline{X}$。

或者用文字表述：
在 $\overline{X}\pm1.96\sigma_\overline{X}$ 的區間內，有 $95\%$ 信心可以正確推知 $\mu$，
在 $\overline{X}\pm2.58\sigma_\overline{X}$ 的區間內，有 $99\%$ 信心可以正確推知 $\mu$。

區間的兩個端點稱為信賴區間的上下限，為正負號相反的兩個 $z$ 分數，用 $z_{\alpha/2}$ 表示。==以標準常態分布進行區間估計的通式==為 $$(1-\alpha) \text{CI}:\ \overline{X}-z_{a/2}\sigma_\overline{X} \le \mu \le \overline{X}+z_{a/2}\sigma_\overline{X}$$

### 3.4.2 抽樣分布條件不明的區間估計
前提：主要因為樣本數太小（小於 $30$），不知道抽樣分布是否為常態分布
。前述結論不適用。
解決方案：應使用 $t$ 分布進行區間估計

**Student's $t$ 分布**，簡稱 $t$ 分布是指 $t$ 分數形成的分布。當 $n\ge30$ 時，$t$ 分布近似於常態分布，但 $n<30$ 時，$t$ 分布的形狀比常態分布扁平，$n$ 越小，$t$ 分布越扁平。

推論統計, inferential statistics
估計, estamition
抽樣誤差, sampling error
抽樣分配, sampling distribution
中央極限定理, central limit theorem
代表性, representativeness
隨機樣本, random sample
簡單隨機抽樣, simple random sample
系統隨機抽樣, system random sample
等距抽樣法, interval sampling
分層隨機抽樣, stratified random sample
比例抽樣法, proportional sampling
叢集隨機抽樣, cluster random sampling
多階段隨機抽樣, multistage random sampling
抽樣分布, sampling distribution
平均數的抽樣分布, sampling distribution of means
母體參數, population parameter
樣本統計量, sample statistic
參數估計, parameter estimation
點估計, point estimation
區間估計, interval estimation
不偏性, unbiasedness
一致性, consistence
有效性, efficiency
信心水準, level of confidence
信賴區間, confidence interval (CI)
Student's $t$ 分布, Student's $t$-distribution