{%hackmd /@Hipp0/Hippotumuxthem %}

# 統計I

## 樣本分布

在統計學中，抽樣分佈（sampling distribution）是指從一個母體中抽取的所有可能的樣本的統計量的分佈。在這種情況下，我們討論的是樣本均值 $\overline{X}$ 和樣本變異數 $S^2$ 的抽樣分佈。

### 樣本均值 $\overline{X}$ 的抽樣分佈

假設我們從一個母體中抽取了 $n$ 個樣本 $X_1, X_2, \ldots, X_n$。樣本均值 $\overline{X}$ 是這些樣本值的平均值，定義為：

$$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$$

如果母體均值為 $\mu$ 母體標準差為 $\sigma$，根據中心極限定理，當 $n$ 足夠大時，樣本均值 $\overline{X}$ 的抽樣分佈接近於常態分佈，且其均值為 $\mu$，標準誤為 $\frac{\sigma}{\sqrt{n}}$。即：

$$\overline{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)$$

### 樣本變異數 $S^2$ 的抽樣分佈

樣本變異數 $S^2$ 是樣本值相對於樣本均值的平方差的平均值，用以估計母體變異數。定義為：

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2$$

樣本變異數的抽樣分佈取決於母體是否為常態分佈。如果母體為常態分佈，樣本變異數 $S^2$ 與母體變異數 $\sigma^2$ 的比值（即 $\frac{(n-1)S^2}{\sigma^2}$）服從卡方分佈，具有 $n-1$ 個自由度。即：

$$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$$

### 總結

- 樣本均值 $\overline{X}$ 的抽樣分佈在樣本量 $n$ 足夠大時接近於常態分佈，均值為 $\mu$，標準誤為 $\frac{\sigma}{\sqrt{n}}$。
- 樣本變異數 $S^2$ 的抽樣分佈在母體為常態分佈的假設下，按 $\chi^2$ 分佈，具有 $n-1$ 個自由度。

理解這些分佈對於統計推斷（如信賴區間和假設檢定）非常重要。

## 點估計

在統計學中，點估計（Point Estimation）是用單個數值來估計未知的母體參數 $\theta$。常見的點估計量有均值、變異數等。好的點估計量應該具備以下性質：

### a. 一致性（Consistency）
一致性指的是當樣本數 $n$ 趨於無限大時，估計量 $\hat{\theta}$ 會以概率收斂於真實的參數值 $\theta$。即：

$$\hat{\theta} \xrightarrow{P} \theta \text{ as } n \rightarrow \infty$$

這意味著隨著樣本數量增加，估計量變得越來越精確，並且越來越接近於真實值 $\theta$。

### b. 無偏性（Unbiasedness）
無偏性指的是估計量的期望值等於真實的參數值 $\theta$。即：

$$E[\hat{\theta}] = \theta$$

這意味著在多次抽樣中，估計量的平均值應該等於被估計的參數值 $\theta$。

### c. 有效性（Efficiency）
有效性指的是在所有無偏估計量中，具有最小變異數的估計量。換句話說，如果 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是 $\theta$ 的無偏估計量，並且 $\hat{\theta}_1$ 的變異數小於 $\hat{\theta}_2$ 的變異數，即：

$$\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2)$$

那麼 $\hat{\theta}_1$ 被認為比 $\hat{\theta}_2$ 更有效率。

### d. 充分性（Sufficiency）
充分性指的是一個統計量包含了關於母體參數 $\theta$ 的所有信息。如果統計量 $\hat{\theta}$ 是充分的，那麼給定 $\hat{\theta}$ 之後，樣本數據 $(X_1, X_2, \ldots, X_n)$ 與參數 $\theta$ 是獨立的。即：

$$P_\theta(X_1, X_2, \ldots, X_n | \hat{\theta}) \text{ is independent of } \theta$$

這意味著統計量 $\hat{\theta}$ 已經捕獲了樣本中關於 $\theta$ 的所有信息，沒有任何額外的信息可以從樣本數據中提取。

### 符號解釋
- $\theta$：母體參數，例如均值或變異數。
- $\hat{\theta}$：$\theta$ 的估計量，也稱為樣本統計量。上面的帽子符號（^）表示這是一個估計量。

### 總結
1. 一致性（Consistency）：$\hat{\theta} \xrightarrow{P} \theta \text{ as } n \rightarrow \infty$
2. 無偏性（Unbiasedness）：$E[\hat{\theta}] = \theta$
3. 有效性（Efficiency）：$\text{Var}(\hat{\theta}_1) < \text{Var}(\hat{\theta}_2)$
4. 充分性（Sufficiency）：$P_\theta(X_1, X_2, \ldots, X_n | \hat{\theta}) \text{ is independent of } \theta$

## 點估計方法

在統計學中，點估計（Point Estimation）是一種估計未知母體參數 $\theta$ 的方法。常見的點估計方法包括：

### a. 矩估計法（Method of Moments, MME）
矩估計法是根據樣本矩與理論矩的一致性來估計參數 $\theta$。通過將樣本矩等於理論矩，解出參數 $\theta$ 的估計值。

矩估計法的方程式為：
$$m_k = \mu_k(\hat{\theta}), \quad \text{for } k = 1, 2, \ldots$$

### b. 最大似然估計法（Maximum Likelihood Estimation, MLE）
最大似然估計法是通過最大化樣本出現的概率來估計參數 $\theta$。即找到使得給定樣本數據出現的概率最大的 $\theta$。

最大似然估計法的方程式為：
$$\hat{\theta}_{\text{MLE}} = \arg\max_\theta L(\theta | x_1, x_2, \ldots, x_n)$$

在這些方法中，$\hat{\theta}$（帶帽子的 $\theta$）通常表示估計出的參數值，而 $\theta$ 是在抽樣之前是一個隨機變量，在抽樣之後成為一個確定的值。

### 點估計過程
在進行點估計時，通常的流程如下：
1. 從未知的母體中抽取一個樣本（Population -> Sample）。
2. 從樣本中獲得估計值 $\hat{\theta}$（Obtain $\hat{\theta}$ from Sample）。
3. 通過學習過程進行估計，得到對參數 $\theta$ 的估計值（Estimate $\theta$ through Learning）。

在這個過程中，我們試圖從樣本數據中學習到母體參數 $\theta$ 的信息，以便進行準確的估計。

## 信賴區間

信賴區間是用來估計母體參數 $\theta$ 的一個範圍，我們希望這個範圍能夠包含真實的參數值，並且我們對這個估計的準確度有一定的信賴。

假設我們有兩個隨機變量 $\hat{\theta}_L$ 和 $\hat{\theta}_U$，分別代表了參數 $\theta$ 的下界和上界的估計值。這些值是從樣本中計算得到的，可以視為對參數 $\theta$ 的估計。

信賴區間的概念在於，我們希望這個區間能夠以一定的概率（通常是 $1 - \alpha$）包含真實的參數值 $\theta$。這裡的 $1 - \alpha$ 就是信賴係數，表示我們對這個估計的信賴程度。

### 雙邊信賴區間
一個 $1 - \alpha$ 的雙邊信賴區間可以表示為 $(\hat{\theta}_L, \hat{\theta}_U)$。這意味著我們相信真實的參數值 $\theta$ 落在這個區間內的概率為 $1 - \alpha$。

### 單邊信賴區間
如果我們對參數的一個方向感興趣，比如我們只關心參數是否大於某個值或者小於某個值，我們可以構建一個單邊信賴區間。

- 對於上邊界，我們可以構建 $P(\theta < \hat{\theta}_U) = 1 - \alpha$ 的信賴區間，表示為 $(-\infty, \hat{\theta}_U)$。這表示我們相信參數 $\theta$ 小於 $\hat{\theta}_U$ 的概率為 $1 - \alpha$。
- 對於下邊界，我們可以構建 $P(\theta > \hat{\theta}_L) = 1 - \alpha$ 的信賴區間，表示為 $(\hat{\theta}_L, \infty)$。這表示我們相信參數 $\theta$ 大於 $\hat{\theta}_L$ 的概率為 $1 - \alpha$。

這些信賴區間可以幫助我們在統計推斷中對母體參數進行估計並量化我們對估計準確度的信賴程度。

## 區間估計

區間估計是用來估計未知母體參數 $\theta$ 的一個範圍，通常表示為 $[\hat{\theta} - \text{error}_1, \hat{\theta} + \text{error}_2]$，其中 $\hat{\theta}$ 是估計值，$\text{error}_1$ 和 $\text{error}_2$ 是允許的誤差範圍。

### 信賴區間的獲取：pivot 方法

使用 pivot 方法獲取信賴區間的步驟如下：

1. 這個區間是樣本測量和未知參數 $\theta$ 的函數，其中 $\theta$ 是唯一的未知數量。

2. 它的概率分佈不依賴於參數 $\theta$。

這些特點意味著我們可以使用樣本數據來構建一個與參數 $\theta$ 無關的統計量，並且這個統計量的分佈是已知的。通常，我們會尋找一個統計量，使得它的分佈已知且不依賴於未知參數 $\theta$。

## 統計推斷

### 信賴區間

在統計推斷中，信賴區間是一種用來估計未知參數的範圍，並且給出我們對這個估計的信賴程度。對於參數 $\theta$ 的信賴區間的推導如下：

假設我們有一組相互獨立且同分佈的隨機變量 $x_1, x_2, \ldots, x_n$，其期望值為 $\mu$，方差為 $\sigma^2$。現在考慮樣本平均值 $\overline{x}$，我們希望構建一個關於 $\theta$ 的信賴區間。

根據中心極限定理（Central Limit Theorem, CLT），當樣本量 $n$ 足夠大時，樣本平均值 $\overline{x}$ 的分佈近似於均值為 $\mu$，標準差為 $\frac{\sigma}{\sqrt{n}}$ 的正態分佈。這使得我們可以建立一個與 $\theta$ 相關的標準正態分佈。

給定一個顯著水平 $\alpha$，我們可以找到對應的標準正態分佈下的臨界值，使得在這個臨界值內的面積為 $1 - \alpha$。通常我們會使用 $z$ 分佈的分位數來計算這些臨界值。

因此，我們的信賴區間可以表示為：

$$\left( \overline{x} - z_{\alpha/2} \frac{\sigma}{\sqrt{n}}, \overline{x} + z_{\alpha/2} \frac{\sigma}{\sqrt{n}} \right)$$

這個區間表示，在給定的置信水平 $1 - \alpha$ 下，我們對於真實參數 $\theta$ 落在這個區間內的信賴程度為 $1 - \alpha$。通常，我們會使用 $95\%$ 的置信水平，即 $\alpha = 0.05$。

例如，假設 $\alpha = 0.025$ 和 $\beta = 0.975$，這對應到 $z$ 分佈的臨界值為 $\pm 1.96$。因此，我們的信賴區間可以表示為：

$$\left( \overline{x} - 1.96 \frac{\sigma}{\sqrt{n}}, \overline{x} + 1.96 \frac{\sigma}{\sqrt{n}} \right)$$

這個區間給出了對於真實參數 $\theta$ 的估計，並且我們對於這個估計的信賴程度為 $95\%$。

### 例子

這個例子是關於如何使用關鍵值來建立參數 $\theta$ 的信賴區間。首先，我們有一組數據 $U$，其累積分佈函數為：

$$
F_\theta (y) = \begin{cases} \frac{1}{\theta} \cdot \exp\left(-\frac{y}{\theta}\right) & \text{if } y > 0 \\ 0 & \text{otherwise} \end{cases}
$$

我們希望找到 $\theta$ 的 90% 信賴區間。

這裡引入了一個關鍵值 $U = \frac{Y}{\theta}$，其中 $Y$ 是一個隨機變量。根據問題給出的條件，我們可以得到 $U$ 的概率密度函數：

$$
f_U(u) = \begin{cases} \exp(-u) & \text{if } u > 0 \\ 0 & \text{otherwise} \end{cases}
$$

然後我們要找到兩個值 $a$ 和 $b$，使得以下條件成立：

$$
P(a < U < b) = 0.9
$$

根據條件，我們可以得到 $a$ 和 $b$ 的值：

$$
P(U < a) = 0.05 \Rightarrow 1 - \exp(-a) = 0.05 \Rightarrow a = 0.051
$$
$$
P(U > b) = 0.05 \Rightarrow \exp(-b) = 0.05 \Rightarrow b = 2.996
$$

因此，我們有：

$$
0.051 < \frac{Y}{\theta} < 2.996
$$

這等價於：

$$
\frac{Y}{2.996} < \theta < \frac{Y}{0.051}
$$

因此，$\left[\frac{Y}{2.996},\frac{Y}{0.051}\right]$ 是 $\theta$ 的 90% 信賴區間。

### 例子2

假設有兩台機器，機器1和機器2，我們想要確定哪一台機器更穩定。機器1有50個觀測，其中有12個故障；機器2有60個觀測，其中也有12個故障。

讓我們設 $\hat{P_1}$ 為機器1出現故障的概率，$\hat{P_2}$ 為機器2出現故障的概率。

現在，我們想知道是否機器1的故障率高於機器2的故障率。我們計算了 $\hat{P_1} - \hat{P_2} = 0.04$。

我們可以使用中心極限定理（CLT）來計算兩台機器的故障率之間的信賴區間。我們將使用98%的信賴水平。根據CLT，信賴區間的計算公式為：

$$
(\hat{P_1} - \hat{P_2}) \pm Z_{\frac{\alpha}{2}} \sqrt{\frac{\hat{P_1}(1-\hat{P_1})}{n_1} + \frac{\hat{P_2}(1-\hat{P_2})}{n_2}}
$$

其中，$Z_{\frac{\alpha}{2}}$ 是標準正態分佈的$\frac{\alpha}{2}$分位數。

將數值代入公式計算：

$$
0.04 \pm 2.33 \sqrt{\frac{0.24 \times 0.76}{50} + \frac{0.2 \times 0.8}{60}}
$$

得到的信賴區間為$[-0.1451, 0.2251]$。

由於信賴區間包含了“0”，我們無法得出機器2比機器1更穩定的結論。

### 例子3

假設有一枚公平硬幣，正面出現的概率為 $P = 0.5$。我們進行了10次投擲，觀察到正面出現了6次，即 $\hat{P} = 0.6$。

我們知道 $E(\hat{P}) = p$，即樣本均值的期望值等於母體參數 $p$，以及 $Var(\hat{P}) = \frac{P(1-P)}{n}$，即樣本均值的方差為母體參數 $p$ 的方差除以樣本大小 $n$。

我們希望以95%的信賴水平計算 $\hat{P}$ 的信賴區間。根據公式：

$$
\hat{P} \pm Z_{\frac{\alpha}{2}} \sqrt{\frac{\hat{p}(1-\hat{P})}{n}}
$$

代入數值計算：

$$
0.6 \pm 1.96 \sqrt{\frac{0.6 \times 0.4}{10}}
$$

得到的信賴區間為$[0.297, 0.903]$。由於這個信賴區間包含了母體參數 $p = 0.5$，我們無法得出硬幣不是公平的結論。

現在，我們將硬幣投擲次數增加到100次，觀察到正面出現了60次，即 $\hat{P} = 0.6$。再次計算信賴區間：

$$
0.6 \pm 1.96 \sqrt{\frac{0.6 \times 0.4}{100}}
$$

得到的信賴區間為$[0.55, 0.65]$。由於這個信賴區間不包含母體參數 $p = 0.5$，我們拒絕了硬幣是公平的假設。

### 選擇樣本大小

在統計推論中，我們通常希望在進行假設檢驗或計算信心區間時，樣本均值的估計誤差足夠小。因此，我們需要選擇一個合適的樣本大小。

假設我們有一個估計誤差的上限 $E$，我們可以通過下面的公式來計算所需的樣本大小 $n$：

$$
E = Z_{\frac{\alpha}{2}} \sqrt{\frac{P(1-P)}{n}}
$$

在這個公式中，$Z_{\frac{\alpha}{2}}$ 是標準正態分佈的 $\frac{\alpha}{2}$ 分位數，$P$ 是我們對母體參數的估計值，$n$ 是樣本大小。

假設我們希望估計誤差 $E$ 為 0.05，並且我們對母體參數的估計值為 $p_0 = 0.5$。代入公式計算：

$$
0.05 = 1.96 \times \sqrt{\frac{0.5 \times (1-0.5)}{n}}
$$

解出 $n$：

$$
\sqrt{n} = \frac{1.96 \times 0.5}{0.05} = 19.6
$$

$$
n = (19.6)^2 = 384.16
$$

因為樣本大小必須是一個整數，所以我們選擇最接近的整數 $n = 385$。

## 選擇樣本大小

### 中心極限定理 (CLT) 和母體均值 $\mu$ 的信心區間

假設我們從母體中隨機抽取了樣本 $x_1, x_2, \ldots, x_n$，樣本均值 $\bar{x}$ 定義為：

$$
\bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i
$$

根據中心極限定理 (CLT)，當樣本數量 $n$ 足夠大時，樣本均值 $\bar{x}$ 服從正態分佈：

$$
\frac{\bar{x} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)
$$

其中 $\sigma^2$ 是已知的母體方差，$\bar{x}$ 服從 $N(\mu, \sigma^2/n)$。

### 構建母體均值 $\mu$ 的信心區間

我們可以利用標準正態分佈來構建 $\mu$ 的信心區間。具體方法如下：

$$
P\left(Z_{-\alpha/2} < \frac{\bar{x} - \mu}{\sigma/\sqrt{n}} < Z_{\alpha/2}\right) = 1 - \alpha
$$
其中 $Z_{\alpha/2}$ 是標準正態分佈的臨界值。

通過變換不等式，我們得到 $\mu$ 的 $100(1 - \alpha)\%$ 信心區間：
$$
\left[\bar{x} - Z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}, \bar{x} + Z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}\right]
$$

## 選擇樣本大小的具體步驟

在構建信心區間時，我們需要確定樣本大小 $n$，以保證我們的估計具有足夠的精度。具體步驟如下：

1. **設定所需的置信水平和允許誤差**：
- 選擇所需的置信水平 $(1 - \alpha)$，比如 $95\%$ 或 $99\%$。
- 設定允許誤差 $E$，這是我們希望估計結果的最大允許偏差。

2. **計算臨界值**：
- 對於選定的置信水平，查找對應的標準正態分佈的臨界值 $Z_{\alpha/2}$。

3. **計算所需的樣本大小**：
- 使用下列公式計算樣本大小 $n$：
$$
E = Z_{\alpha/2} \cdot \frac{\sigma}{\sqrt{n}}
$$
- 通過變換公式，得到樣本大小(取上高斯整數) $n$：

$$
n = \left(\frac{Z_{\alpha/2} \cdot \sigma}{E}\right)^2
$$

## 信心區間的構建

信心區間是用來估計母體參數的一個範圍，我們希望這個範圍能夠包含真實的參數值，並且我們對這個估計的準確度有一定的信心。

### 信心區間的公式

給定一組來自正態分佈 $N(\mu, \sigma^2)$ 的樣本 $X_1, X_2, \ldots, X_n$，我們希望構建 $\sigma^2$ 的信心區間。根據 $\chi^2$ 分佈，我們有：

$$
\frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{(n-1)}
$$

其中 $S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$。

根據 $\chi^2$ 分佈的性質，我們可以得到以下的不等式：

$$
P\left( \chi^2_{\alpha/2, (n-1)} \leq \frac{(n-1)S^2}{\sigma^2} \leq \chi^2_{1-\alpha/2, (n-1)} \right) = 1-\alpha
$$

這意味著，$\sigma^2$ 落在以下區間的概率為 $1-\alpha$：

$$
P\left( \frac{(n-1)S^2}{\chi^2_{1-\alpha/2, (n-1)}} \leq \sigma^2 \leq \frac{(n-1)S^2}{\chi^2_{\alpha/2, (n-1)}} \right) = 1-\alpha
$$

### 信心區間的圖示

從圖中可以看出，我們在 $\chi^2$ 分佈的兩端截取 $\alpha/2$ 的概率區間，這樣可以確保中間的區間覆蓋 $\sigma^2$ 的概率為 $1-\alpha$。

### 信心區間的公式表示

因此，我們得到 $\sigma^2$ 的 $(1-\alpha)$ 置信區間為：

$$
\left[ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2, (n-1)}}, \frac{(n-1)S^2}{\chi^2_{\alpha/2, (n-1)}} \right]
$$

## 示例：估計 $\sigma^2$ 的 90% 置信區間

### 給定資料
3 名學生學習統計學習。他們每週分別學習 4.1 小時、5.2 小時和 10.2 小時。

### 目標
用 90% 的置信係數估計 $\sigma^2$。

### 步驟

#### 計算樣本均值
樣本均值 $\bar{X}$ 計算如下：
$$
\bar{X} = \frac{4.1 + 5.2 + 10.2}{3} = 6.5
$$

#### 計算樣本方差
樣本方差 $S^2$ 計算如下：
$$
S^2 = \frac{1}{3-1} \left[ (4.1 - 6.5)^2 + (5.2 - 6.5)^2 + (10.2 - 6.5)^2 \right] = 10.59
$$

#### 確定 $\chi^2$ 臨界值
根據 $\chi^2$ 分佈表，對於自由度為 $2$ 且置信係數為 $90\%$：
$$
\chi^2_{0.05, (2)} = 0.103
$$
$$
\chi^2_{0.95, (2)} = 5.991
$$

#### 構建置信區間
根據 $\chi^2$ 分佈，我們可以計算 $\sigma^2$ 的置信區間：
$$
P\left( \chi^2_{0.05, (2)} \leq \frac{(n-1)S^2}{\sigma^2} \leq \chi^2_{0.95, (2)} \right) = 0.90
$$

這意味著，$\sigma^2$ 的 90% 置信區間為：
$$
\left[ \frac{(2) \times 10.59}{5.991}, \frac{(2) \times 10.59}{0.103} \right]
$$

計算得出：
$$
\left[ \frac{21.18}{5.991}, \frac{21.18}{0.103} \right] \approx [3.54, 205.63]
$$

因此，$\sigma^2$ 的 90% 置信區間為：
$$
[3.54, 205.63]
$$

## 大樣本理論對於最大似然估計（MLEs）

在統計學中，當樣本量 \(n\) 趨近於無限大時，最大似然估計（MLE）具有以下重要性質：

### 一致性（Consistency）
當樣本量 \(n \rightarrow \infty\) 時，樣本均值 \(\bar{X}\) 會以概率收斂到母體均值 \(\mu\)。這表示估計值會越來越接近真實參數。

$$
\bar{X} \xrightarrow{P} \mu \quad \text{as } n \rightarrow \infty
$$

### 正態性（Normality）
根據中心極限定理（CLT），當樣本量 \(n\) 趨近於無限大時，樣本均值 \(\bar{X}\) 的分佈趨近於正態分佈，其均值為母體均值 \(\mu\)，方差為 \(\sigma^2/n\)。

$$
\bar{X} \xrightarrow{D} N\left(\mu, \frac{\sigma^2}{n}\right) \quad \text{as } n \rightarrow \infty
$$

這表示當樣本量足夠大時，樣本均值 \(\bar{X}\) 會接近於一個正態分佈，其均值為 \(\mu\)，方差為 \(\sigma^2/n\)。

### 簡單示例

假設有一個母體，其均值為 \(\mu\)，方差為 \(\sigma^2\)。我們從中抽取 \(n\) 個樣本 \(x_1, x_2, \ldots, x_n\)，並計算樣本均值 \(\bar{X}\)。

- 當 $n \rightarrow \infty\) 時，根據一致性，\(\bar{X}\) 會趨近於 \(\mu$。
- 根據正態性，當 $n\) 足夠大時，\(\bar{X}\) 的分佈可以近似為 \(N\left(\mu, \frac{\sigma^2}{n}\right)$。

這些性質使得在大樣本情況下，使用樣本均值 $\bar{X}$ 作為母體均值 $\mu$ 的估計變得非常可靠。

## Rao-Blackwell 定理

Rao-Blackwell 定理提供了一種改進估計量的方法，使得新的估計量在均方誤差（MSE）意義上總是優於或等於原估計量。

### 定理陳述

設 $\hat{\theta}$ 是參數 $\theta$ 的估計量，並且對所有 $\theta$，$\mathbb{E}[\hat{\theta}^2] < \infty$。

假設 $T$ 是 $\theta$ 的充分統計量，並且定義 $\tilde{\theta} = \mathbb{E}[\hat{\theta} | T]$，即 $\tilde{\theta}$ 是條件期望 $\hat{\theta}$ 在給定 $T$ 的條件下的期望，且 $\tilde{\theta}$ 是 $T$ 的函數 $f(T)$。

則對所有 $\theta$，有以下不等式成立：

$$
\mathbb{E}[(\tilde{\theta} - \theta)^2] \leq \mathbb{E}[(\hat{\theta} - \theta)^2]
$$

這意味著，$\tilde{\theta}$ 在均方誤差（MSE）上總是小於或等於 $\hat{\theta}$。

### 解釋

1. **原估計量 $\hat{\theta}$**：
$\hat{\theta}$ 是對參數 $\theta$ 的估計量，且具有有限的二階矩（即期望平方值有限）。

2. **充分統計量 $T$**：
$T$ 是參數 $\theta$ 的充分統計量，這意味著在給定 $T$ 的條件下，樣本的其他信息與參數 $\theta$ 無關。

3. **改進估計量 $\tilde{\theta}$**：
定義 $\tilde{\theta} = \mathbb{E}[\hat{\theta} | T]$，即 $\tilde{\theta}$ 是在給定充分統計量 $T$ 條件下，$\hat{\theta}$ 的條件期望。這樣的 $\tilde{\theta}$ 是 $T$ 的函數，即 $\tilde{\theta} = f(T)$。

4. **均方誤差比較**：
Rao-Blackwell 定理表明，改進後的估計量 $\tilde{\theta}$ 在均方誤差（MSE）上總是小於或等於原估計量 $\hat{\theta}$。這表示我們可以通過充分統計量 $T$ 和原估計量 $\hat{\theta}$ 構造出一個新的估計量 $\tilde{\theta}$，該估計量在 MSE 意義上更為優良。

### 簡單示例

假設我們有一個樣本 $X_1, X_2, \ldots, X_n$ 來自正態分佈 $N(\mu, \sigma^2)$，其中 $\sigma^2$ 已知。設 $\hat{\mu} = \frac{1}{n} \sum_{i=1}^n X_i$ 是 $\mu$ 的估計量，並且 $T = \sum_{i=1}^n X_i$ 是 $\mu$ 的充分統計量。

根據 Rao-Blackwell 定理，我們可以構造改進的估計量：

$$
\tilde{\mu} = \mathbb{E}[\hat{\mu} | T]
$$

由於 $\hat{\mu}$ 是樣本均值且 $T$ 是所有樣本的總和，可以得出 $\tilde{\mu}$ 實際上等於 $\hat{\mu}$，且具有最小的均方誤差。

這展示了使用充分統計量改進估計量的一般方法。

## Cramer-Rao 下界

Cramer-Rao 下界提供了一個關於無偏估計量的方差的下界，該下界是由信息量決定的。

### 定理陳述

設 $x_1, x_2, \ldots, x_n \sim \text{iid} \ f_x(x|\theta)$，並且 $T = t(x_1, \ldots, x_n)$ 是 $\theta$ 的無偏估計量。在對 $f_x(x|\theta)$ 進行一些光滑性假設下，我們有：

$$
\text{Var}(T) \geq \frac{1}{n \cdot I(\theta)}
$$

其中，$I(\theta)$ 是 $\theta$ 的費舍爾信息量。

### 費舍爾信息量

費舍爾信息量 $I(\theta)$ 定義為：

$$
I(\theta) = \mathbb{E} \left[ \left( \frac{\partial}{\partial \theta} \log f_x(X|\theta) \right)^2 \right]
$$

### 解釋

1. **無偏估計量 $T$**：
$T$ 是參數 $\theta$ 的無偏估計量，這意味著 $\mathbb{E}[T] = \theta$。

2. **獨立同分佈樣本 $x_1, x_2, \ldots, x_n$**：
樣本 $x_1, x_2, \ldots, x_n$ 是來自分佈 $f_x(x|\theta)$ 的獨立同分佈（iid）樣本。

3. **費舍爾信息量 $I(\theta)$**：
費舍爾信息量度量了樣本中包含的關於參數 $\theta$ 的信息量。信息量越大，參數估計越精確。

4. **方差下界**：
Cramer-Rao 定理表明，任何無偏估計量的方差不能小於 $1/(n \cdot I(\theta))$。這是一個理論上的下界，告訴我們在給定的樣本量和模型下，無偏估計量的方差不可能低於這個值。

### 簡單示例

假設我們有一個樣本 $X_1, X_2, \ldots, X_n$ 來自正態分佈 $N(\mu, \sigma^2)$，其中 $\sigma^2$ 已知，並且我們要估計 $\mu$。樣本均值 $\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i$ 是 $\mu$ 的無偏估計量。

對於正態分佈 $N(\mu, \sigma^2)$，費舍爾信息量 $I(\mu)$ 為：

$$
I(\mu) = \frac{1}{\sigma^2}
$$

因此，Cramer-Rao 下界為：

$$
\text{Var}(\bar{X}) \geq \frac{\sigma^2}{n}
$$

這意味著樣本均值 $\bar{X}$ 的方差不能小於 $\frac{\sigma^2}{n}$，這與樣本均值的實際方差一致，表明樣本均值達到了 Cramer-Rao 下界。

## Cramer-Rao 下界範例

### 範例：Poisson 分佈

假設我們有樣本 $x_1, x_2, \ldots, x_n \sim \text{Poisson}(\lambda)$，其中 $\lambda$ 是我們要估計的參數。

### 費舍爾信息量

對於 Poisson 分佈，我們知道費舍爾信息量為：

$$
I(\lambda) = \frac{1}{\lambda}
$$

### Cramer-Rao 下界

根據 Cramer-Rao 下界，我們有：

$$
\text{Var}(T) \geq \frac{1}{n \cdot I(\lambda)} = \frac{\lambda}{n}
$$

### 性質

我們知道：

1. **期望值**：
$$ \mathbb{E}(x) = \lambda $$

2. **無偏估計量 $\bar{x}$**：
樣本均值 $\bar{x}$ 是 $\lambda$ 的無偏估計量，即：
$$ \mathbb{E}(\bar{x}) = \lambda $$

3. **方差**：
樣本均值 $\bar{x}$ 的方差為：
$$ \text{Var}(\bar{x}) = \frac{\lambda}{n} $$

因此，樣本均值 $\bar{x}$ 不僅是 $\lambda$ 的無偏估計量，並且達到了 Cramer-Rao 下界，這意味著 $\bar{x}$ 是最優無偏估計量，因為它具有最小的方差。

### 解釋

1. **無偏估計量 $\bar{x}$**：
樣本均值 $\bar{x}$ 是參數 $\lambda$ 的無偏估計量，這意味著 $\mathbb{E}[\bar{x}] = \lambda$。

2. **方差下界**：
根據 Cramer-Rao 定理，任何無偏估計量的方差不能小於 $\frac{\lambda}{n}$。在這裡，樣本均值 $\bar{x}$ 的方差正好等於這個下界，表明 $\bar{x}$ 是最優的無偏估計量。

### 範例總結

對於 Poisson 分佈的參數 $\lambda$，樣本均值 $\bar{x}$ 是 $\lambda$ 的無偏估計量，並且具有最小的方差 $\frac{\lambda}{n}$，這意味著 $\bar{x}$ 是在這種情況下最好的無偏估計量。