---
# System prepended metadata

title: 商統不會的公式&檢定的decision rolue

---

# 商統不會的公式&檢定的decision rolue
先記錄下來:(

## 解釋為什麼cretical value approach的 desion role 跟 p-value approach不同
### 以T分布為例
$H_0: \mu \le \mu_0$ v.s $H_1: \mu > \mu_0$

Let W(X) be a test by p-value definition:statistc
$P_{\mu,\sigma}(W(X)\ge W(x))=P_{\mu,\sigma}(\frac {\bar x - \mu_0}{s ÷ \sqrt n}\ge W(x))$
$=P_{\mu,\sigma}(\frac {\bar x - \mu_0}{s ÷ \sqrt n}+\frac { \mu_0 - \mu}{s ÷ \sqrt n}\ge W(x)+\frac { \mu_0 - \mu}{s ÷ \sqrt n})$
$=P_{\mu,\sigma}(\frac {\bar x - \mu}{s ÷ \sqrt n}\ge W(x)+\frac { \mu_0 - \mu}{s ÷ \sqrt n})$
$=P_{\mu,\sigma}(T_{(n-1)}\ge W(x)+\frac { \mu_0 - \mu}{s ÷ \sqrt n})\le P_{\mu,\sigma}(T_{(n-1)}\ge W(x))$, $\because \mu_0-\mu \le0　by　 H_0$
So as we can see, the desion role of cretical value and p-value is totolly opposited.

## 為什麼有的公式要多除根號n有的不用
從[wiki](https://zh.m.wikipedia.org/zh-tw/%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86)來看，常態分佈的由來是中央極限定理，原始版本不需要除n
如果是從二項式分佈推到常態分佈的也不需要除n，例如比率方面的檢定。
只有平均才需要多除根號n。
我流推導：中央極限定理同除n得到平均數版，<u>也就是說，用平均數才需要同除以n，加總直接用CLT的原始版解決即可。</u>

## 其他注意事項（考慮移走）
從二項式分配轉至常態分配時，要求的機率最好加\減0.5(視檢定要求大於還是小於），因為一個是離散，一個是連續。


## Difference Between 2 Population means:($\mu$)
>source:10.2
### 檢定be like:
$H_0:\mu_1-\mu_2><=D_0$　v.s　$H_1: not \ H_0$

### 變異數已知:使用Z分配。
$z={(\bar x_1-\bar x_2)-D_0 \over \sqrt{\frac{σ^2_1}{n_1}+\frac{σ^2_2}{n_2}}}$
### 變異數未知:使用t分配。
$df ={(\frac{s_1^2}{n_1}+\frac {s_2^2}{n_2})^2 \over \frac {1}{n_1-1}\times(\frac {s_1^2}{n_1})^2+ \frac {1}{n_2-1}\times(\frac {s_2^2}{n_2})^2}$

$t={(\bar x_1-\bar x_2)-D_0 \over \sqrt{\frac{s^2_1}{n_1}+\frac{s^2_2}{n_2}}}$

### 變異數未知但<u>假定標準差一樣</u>($σ^2_1=σ^2_2$):還是t分配
$s_p={(n_1-1)s_1^2+(n_2-1)s_2\over n_1+n_2-2}$

$t={(\bar x_1-\bar x_2)-D_0 \over s_p \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}$

## Difference Between 2 Population means: Matched Samples ($\mu$)
>souce:10.3
### 檢定be like:
$H_0:\mu_1-\mu_2=0$　v.s　$H_1: not \ H_0$
### 直接t分配
$t={\bar d - \mu_d \over s_d ÷\sqrt n}$

$\bar d=\frac{\sum d_i}{n}=\frac{\sum (x_{1i}-x_{2i})}{n}$

## Difference Between 2 Population proportions ( p )
> souce:10.4
### 檢定be like:
$H_0:p_1-p_2=0$　v.s　$H_1: not \ H_0$

### 直接z分配

$z={\bar p_1 -\bar p_2) \over \sqrt {\bar p (1- \bar p)(\frac {1}{n_1}+\frac {1}{n_2})}}$

$\bar p = {n_1 \bar p_1 + n_2 \bar p_2 \over n_1 + n_2}$

## Inferences About a Population Variance($σ^2$)
>souce:11.1
### 檢定be like:
$H_0:σ^2><=σ_0^2$　v.s　$H_1: not \ H_0$

### 卡方

$χ^2={(n-1)s^2 \over σ^2_0}$

### desion rule


| 性質 | 大於等於 | 小於等於 | 雙尾 |
| -------- | -------- | -------- |  -------- | 
| test be like |  $H_0:σ^2≧σ_0^2$    | $H_0:σ^2≦σ_0^2$ |$H_0:σ^2=σ_0^2$|
|reject $H_0$ :cretical value approach| $χ^2≦χ^2_{1-\alpha}$|$χ^2≧χ^2_{\alpha}$|$χ^2≦χ^2_{1-\alpha/2}$　or　$χ^2≧χ^2_{1-\alpha/2}$





## Inferences About 2 Population Variance
>souce:11.2
### 檢定be like:
$H_0:σ_1^2<>=σ_2^2$　v.s　$H_1: not \ H_0$

### F 檢定
$F=\frac {s_1^2}{s_2^2}$
$df=n_1-1,n_2-1$

### desion rule


| 性質 | 小於等於 | 雙尾 |
| -------- | -------- | -------- 
| test be like | $H_0:σ_1^2≦σ_2^2$|$H_0:σ_1^2=σ_2^2$|
|reject $H_0$ :cretical value approach| $F≧F_\alpha$ | $F≧F_{\alpha/2}$ 
|Note| | $s_1^2>s_2^2$|

### one-way ANOVA
代號說明:
- $n_j$=不同實驗方法的各數
- $\bar x_j$= 實驗方法j的平均

$H_0: μ_1 = μ_2 = μ_3 ... = μ_k$ v.s $H_1:not　H_0$
| Source of Variation | Degrees of Freedom (df) | Sums of Squares (SS) | Mean Squares (MS) | F    |
| ------------------- | ----------------------- | -------------------- | ----------------- | --- |
| Between Treatments  | k-1                     | SSB = $\sum \sum n_j(\bar x_j-\bar x)^2$                 | SSB/(k-1)         |  $\frac{MSB}{MSE}$   |
| Error (or Residual) | N-k                     | SSR = $\sum \sum (x_{ij}-\bar x_j)^2$                  | SSR/(N-k)         |     |
| Total               | N-1                     | SST    = $\sum \sum (\bar x_{ij}-\bar x)^2$                |                   |     |
#### desion rule
v.s $F_{k-1,N-k}$
- $>F_{k-1,N-k}$ -> reject $H_0$


## 無母數部分

### Sign test
#### 檢定be like:
$H_0: Median >=< d$ v.s $H_1: not 　H_0$, where d is constant
轉為:
$H_0: p >=< 0.5$ v.s $H_1: not　H_0$

#### step
1. 在樣本值旁紀錄，大於中位數為+，小於為-，持平不計。
2. 使用二項式分布，帶入$H_0$條件與+號數
$\sum_{x=+號數}^{n-持平}\tbinom{n}{x}(0.5)^{n-持平}$
3. 漸進常態分配，請用:
$X～Bin(n,p)=X～N(np+0.5,npq)$然後CLT起來。
4. Bin算出來即為P-value，跟α比大小。

### Wilcoxon sigin-rank test
> 條件: obs.有相同分布
#### 檢定be like:
$H_0: method　Ａ中位數　－　method　Ｂ中位數=0$ v.s $H_1: not　H_0$

#### step
1. 算樣本A-樣本B的差、差的絕對值，依差的絕對值排rank(rank一樣的一起+0.5)，計算





## ANOVA for 迴歸

易忘ㄉ公式:
$S_{xx}=\sum X_i^2-n\bar x^2$
$S_{xy}=\sum X_iY_i-n\bar x \bar y$
$b_1=\frac{S_{xy}}{S_xx}$
$b_0=\bar y - b_1\bar x$
$SSR=b_1S_{xy}$
$SST=\sum(y_i-\bar y)^2=\sum y_i^2-n(\bar y)^2$


### 簡單迴歸
$Y_i=\beta_0+\beta_1X_1+ε_i$
$\hat y=\hat \beta_0+\hat\beta_1 \hat x_i$

#### ANOVA


| source |df | SS|
| -------- | -------- | -------- |
| REG     | 1(自變數個數)     | $\sum (\hat y_i-\bar y)=b_1S_{xy}$    |
|ERR     | n-1-reg    | SST-SSR     |
|TOTAL    | n-1     | $S_{yy}=E(Y^2)-[E(Y)]^2$     |

#### $\beta_1$/$\beta_0$ infrence
##### 檢定be like:
$H_0=\beta_1>=<c　v.s　not　H_0$
$H_0=\beta_0>=<c　v.s　not　H_0$
where c is a constant.

#####  $b_0$,$b_1$之期望值、變異數
皆服從於常態分配
$b_0～N(\beta_0,\frac{\sigma^2}{n}\frac{\sum x^2}{\sum (x-\bar x)^2}=\sigma^2[\frac{1}{n}+\frac{\bar x}{\sum (x- \bar x)^2}])$
$b_1～N(\beta_1,\frac{\sigma^2}{\sum (x-\bar x)^2})$
其中$\sigma^2$在實務上為未知，以$MSE$代替；計算分配也從常態轉為T分配。

以$b_1$為例，對應分配及統計量計算為:
$\frac{(b_1-\beta_1)}{s(b_1)}～T_{n-2}$
$s(b_1)=\frac{MSE}{\sum (X_i-\bar X)^2}=\frac{MSE}{S_{xx}}$

:::success
:information_source: 紀錄一下變異數推導過程

$Var(b_1)=Var(\frac{S_{xy}}{S_{xx}})=\frac{Var(\sum(x_i-\bar x)(y_i-\bar y)}{S^2_{xx}}$

Since $\sum (x_i - \bar x)\bar y = \bar y \sum (x_i- \bar x)= \bar y (\sum x_i - n \bar x)=0$, therefore,

$=\frac{Var[\sum(x_i-\bar x)y_i]}{S^2_{xx}}=\frac{\sum(x_i-\bar x)^2Var(y_i)}{S^2_{xx}}=\frac{S_{xx}\sigma^2}{S^2_{xx}}$

$Var(b_0)=Var(\bar y - b_1\bar x)=Var(\bar y) + Var(b_1\bar x)$

Since $Cov(\bar y , b_1)=0$ (自行推導，懶)

$=\frac{\sigma^2}{n}+\bar x^2Var(b_1)=\frac{\sigma^2}{n}+\bar x^2\frac{\sigma^2}{S_xx}$


:::

### $R^2$ for 簡單迴歸
>$r^2$是ρ的不偏統計量。

公式：
$r^2=\frac{SSR}{SST}=\frac{\sum (\hat Y - \bar Y)^2}{\sum (Y- \bar Y)^2}$
$r=b_1 \frac{s_x}{s_y}$
:::info
:information_source: 直覺想法：$\frac{估計變異}{真實變異}$
:::

#### $r^2$推論
建議直接在ANOVA時用$\frac{MSR}{MSE}$與F檢定比對。原版做法則是T分配：
##### 檢定be like:
$H_0=ρ>=<0　v.s　not　H_0$
統計量計算：
$t=\frac{r \sqrt n-2}{\sqrt 1-r^2}$與$t_{(n-2)}$比較
F版演化過程：
$t^2=\frac{r^2(n-2)}{1-r^2}=\frac{r^2/1}{(1-r^2)/(n-2)}=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}$

## 複回歸
### 參數矩陣通解
$Y=X\beta+\varepsilon$
where $Y= \begin{pmatrix} y_1 \\ y_2 \\ . \\. \\. \\ y_n  \end{pmatrix} 　$,　$X= \begin{pmatrix} 1　& x_{11}  & x_{21} & ... &  x_{n1}\\  1　& x_{12}  & x_{22} & ... &  x_{n2}\\ . &. \\. & & .\\. & & & . \\  1　& x_{1n}  & x_{2n} & ... &  x_{nn}\end{pmatrix} 　$,$\beta = \begin{pmatrix} \beta_1 \\ \beta_2 \\ . \\. \\. \\ \beta_n  \end{pmatrix} 　$, $\varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ . \\. \\. \\ \varepsilon_n  \end{pmatrix} 　$

#### 最小平方法
$min｛(Y-X\beta)^T(Y-X\beta)｝$
對β取微分得到(先用背的，因為還推不出來QQ)：
$X^TX\beta - X^TY=0$
$\hat \beta=(X^TX)^{-1}X^TY$

#### 不偏性證明
$E(\hat\beta_{OLS})=E[(X^TX)^{-1}X^TY]=E[(X^TX)^{-1}X^T(X\beta+\varepsilon)]$
$=(X^TX)^{-1}X^TX\beta=\beta$
:::info
:information_source: $\because E(\varepsilon)=0$
:::
