統計筆記

敘述性統計

動差生成函數(Moment Generation Function)

k階動差	${\mu }_k=E[(x-\mu {)}^k]$
動差生成函數(m.g.f.)	$M_x(t)=E(e^{tx})$
平均數	$\overline{x}=\frac{\sum _{i=0}^n{x}_i}{n}$
變異數 $V(X)=E(X^2)-[E(X){]}^2$	${\sigma }^2=\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2}{n}=\frac{\sum _{i=1}^n{x}_i^2}{n}+n{\overline{x}}^2$
偏態係數(skewness) 大於0正偏右偏、小於0負偏左偏、等於0不偏	$b_1=\frac{{\mu }_3}{(\sqrt{{\mu }_2}{)}^3}=\frac{E[(x-\mu {)}^3]}{(\sqrt{E[(x-\mu ){]}^2}{)}^3}$
峰態係數(kurtosis) 大於3高狹峰、小於3低闊峰、等於3常態峰	$b_2=\frac{{\mu }_4}{(\sqrt{{\mu }_2}{)}^4}=\frac{E[(x-\mu {)}^4]}{(\sqrt{E[(x-\mu ){]}^2}{)}^4}$

統計量(母數皆知)

$Cov(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]=E(XY)-E(X)E(Y)$
${\rho }_{X,Y}=E[\frac{(X-{\mu }_X)}{{\sigma }_x}\frac{(Y-{\mu }_Y)}{{\sigma }_y}]$

樞紐量(包含未知的母數)

樣本平均 $E(\overline{x})=\mu$
樣本平均變異數 $Var(\overline{x})=\frac{{\sigma }^2}{n}$

機率

聯合機率&條件機率

probability mass function(pmf)	$\sum _{i=0}^{n}f(x)=1$
probability density function(pdf)	${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)=1$
cumulative distribution function(cdf)	$F(x)=P(x\le X)$
prior probability	$f(x)=\frac{dF(x)}{dx}={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)dy$
posterior probability	$f(x|y)=\frac{f(x,y)}{f(y)}$
全變異數定理(總變異=組內變異+組間變異)	$V(X)=E[V(X|Y)]+V[E(X|Y)]$
雙重期望值定理	$E(XY)=E[E(XY|X)]=E[XE(Y|X)]$

機率上下界

Markov's inequality	$P(x\ge c)\le \frac{E(x)}{c}$
Chebyshev's inequality	$P(|x-\mu |\ge k\sigma )\le \frac{1}{k^2}$
單邊柴比雪夫	$P(x\ge k)=\frac{{\sigma }^2}{{\sigma }^2+k^2}$

伯努力分配 bernouli

二元試驗進行一次，投擲一次一枚硬幣正面的機率分配

	$x\sim Ber(p)$
$f(x)$	$p^x(1-p{)}^{1-x}$
$E(X)$	$p$
$Var(x)$	$pq$
$M_x(t)$	$q+p{e}^t$

二項分配 binomial

二元試驗進行n次，投擲n次一枚硬幣的正面x次的機率分配

	$x\sim Bin(p)$
$f(x)$	$C_x^n{p}^x(1-p{)}^{n-x}$
$E(X)$	$np$
$Var(x)$	$npq$
$M_x(t)$	$(q+p{e}^t{)}^n$

超幾何分配 hyper geometry

母體共N個抽n個、母體目標個數K個抽到x個目標的機率分配，且取出不放回

	$x\sim Hyper(N,K,n)$
$f(x)$	$\frac{{(}_x^k){(}_{n-x}^{N-k})}{{(}_n^N)}$
$E(X)$	$\frac{nk}{N}$
$Var(x)$	$\frac{nk}{N}(1-\frac{K}{N})\frac{N-n}{N-1}$

幾何分配 geometry

一直試驗到成功為止所需要的次數x的機率分配

	$x\sim Geo(p)$
$f(x)$	$(1-p{)}^{x}p$
$E(X)$	$\frac{1}{p}$
$Var(x)$	$\frac{q}{p^2}$
$M_x(t)$	$\frac{p{e}^t}{1-q{e}^t}$
無記憶性	$P(X>a+b|X>a)=P(X>b)$

負二項分配 negative binomial

一直試驗到成功n次為止所需要的次數x的機率分配

	$x\sim NB(n,p)$
$f(x)$	${(}_{k-1}^{x-1})p^k{q}^{x-k}$
$E(X)$	$\frac{k}{p}$
$Var(x)$	$\frac{kq}{p^2}$
$M_x(t)$	$(\frac{p{e}^t}{1-q{e}^t}{)}^k$

連續均勻分配

	$x\sim U(a,b)$
$f(x)$	$\frac{1}{b-a},a\le x\le b$
$E(X)$	$\frac{a+b}{2}$
$Var(x)$	$\frac{(b-a{)}^2}{12}$
$M_x(t)$	$\frac{e^{bt}-e^{at}}{(b-a{)}^t}$

卜瓦松分配 poisson

在到達率

$\lambda$在某一時間同時抵達x個的機率分配
等同於

$p=\frac{\lambda t}{n}\mathrm{且}t=1\mathrm{的}binomial$

	$x\sim Poi(\lambda )$
$f(x)$	$\frac{e^{-\lambda }{\lambda }^x}{x!}$
$E(X)$	$\lambda$
$Var(x)$	$\lambda$
$M_x(t)$	$e^{\lambda (e^t-1)}$

指數分配 exponential

在到達率

$\lambda$抵達一個所需要時間x的機率分配

	$x\sim Exp(\lambda )$
$f(x)$	$\lambda e^{-\lambda x}$
$E(X)$	$\frac{1}{\lambda }$
$Var(x)$	$\frac{1}{{\lambda }^2}$
$M_x(t)$	$\frac{\lambda }{\lambda -t};t<\lambda$

Gamma分配

在到達率

$\lambda$抵達

$\alpha$個所需要時間x的機率分配

	$x\sim Gamma(\alpha ,\lambda )$
$f(x)$	$\frac{{\lambda }^{\alpha }}{\mathrm{\Gamma }(\alpha )}{x}^{\alpha -1}{e}^{-x}$
$E(X)$	$\frac{\alpha }{\lambda }$
$Var(x)$	$\frac{\alpha }{{\lambda }^2}$
$M_x(t)$	$(\frac{\lambda }{\lambda -t}{)}^{\alpha };t<\lambda$
分部積分(integration by part)
左邊取微分	每隔一個取負數
-	-
$x^2$	\ (+)
x	\ (-)
1

Beta分配

	$x\sim beta(a,b)$
$f(x)$	$\frac{1}{\beta (a,b)}{x}^{a-1}(1-x{)}^{b-1}$
$E(X)$	$\frac{a}{a+b}$
$Var(x)$	$\frac{ab}{(a+b+1)(a+b{)}^2}$

常態分配(高斯分布)

	$x\sim norm(\mu ,{\sigma }^2)$
$f(x)$	$\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{1}{2}(\frac{x-\mu }{\sigma }{)}^2}$
$E(X)$	$\mu$
$Var(X)$	${\sigma }^2$
$M_X(t)$	$e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$
$\mathrm{標}\mathrm{準}\mathrm{化}Z=\frac{x-\mu }{\sigma }$	$Z\sim N(0,1)$
$M_Z(t)$	$e^{\frac{t^2}{2}}$

卡方分配 chi-square

$f(x)$	$\frac{x^{\frac{v}{2}-1}{e}^{\frac{-x}{2}}}{2^{\frac{v}{2}}\mathrm{\Gamma }(\frac{v}{2})}$
$\mathrm{母}\mathrm{體}{\chi }^2$	$\sum _{i=0}^n(\frac{x_i-\mu }{\sigma }{)}^2$~ ${\chi }_{(n)}^2$
$\mathrm{樣}\mathrm{本}{\chi }^2$	$\frac{(n-1)S^2}{{\sigma }^2}$~ ${\chi }_{(n-1)}^2$
$Z\sim {\chi }_{(1)}^2$	${\chi }_{(1)}^2\sim F(1,\mathrm{\infty })$
$E(X)$	$v$
$Var(X)$	$2v$
$M_t(X)$	$(1-2t{)}^{-\frac{v}{2}}$

t分配

$t=\frac{Z}{\sqrt{\frac{{\chi }^2}{df}}}$

F分配

$F=\frac{{\chi }_{(n_1-1)}^2}{{\chi }_{(n_2-1)}^2}=\frac{\frac{(n-1)S_1^2}{{\sigma }_1^2}}{\frac{(n-1)S_2^2}{{\sigma }_2}}=\frac{S_1^2{\sigma }_2^2}{S_2^2{\sigma }_1^2}\sim F(n_1-1,n_2-1)$
$F_{\alpha }(n_1,n_2)=\frac{1}{F_{1-\alpha }(n_2,n_1)}$

抽樣分配

$\mathrm{抽}\mathrm{樣}\mathrm{變}\mathrm{異}{S}^2$	$\sum _{i=1}^n\frac{(x_i-\overline{x}{)}^2}{n-1}$
$E(X)$	$\mu$
$E(S^2)$	${\sigma }^2$
$E(\sum _{i=1}^n\frac{(x_i-\overline{x}{)}^2}{n})$	$\frac{n-1}{n}{\sigma }^2$
$E(S)$不為樣本變異數的開根號	$\frac{\sqrt{2}\sigma }{\sqrt{n-1}}\frac{\mathrm{\Gamma }(\frac{n}{2})}{\mathrm{\Gamma }(\frac{n-1}{2})}$
$S^2$~ $Gamma(\alpha =\frac{n-1}{2},\lambda =\frac{n-1}{2{\sigma }^2})$

點估計

性質

不偏性
不偏估計式	$E(\widehat{{\theta }_n})=0$
偏誤估計式	$E(\widehat{{\theta }_n})\ne 0$
漸進不偏估計式	$\underset{n\to \mathrm{\infty }}{lim}E(\widehat{{\theta }_n})=0$

有效性
相對有效	$Var(\widehat{{\theta }_i})$越小越好
絕對有效	Minimum Variance Unbiased Estimation
CRLB(Cramer-Rao Lower Bound)	$\frac{1}{-nE(\frac{{\partial }^2\ln f(x;\theta )}{\partial {\theta }^2})}\le Var(\hat{\theta })$

充分性
Fisher-Neyman factorization	$f(x_1,..x_n;\theta )=g(\hat{\theta };\theta )h(x_1,...x_n)$

一致性
不偏	$\underset{n\to \mathrm{\infty }}{lim}Var(\widehat{{\theta }_n})=0$
偏誤	$\underset{n\to \mathrm{\infty }}{lim}MSE(\widehat{{\theta }_n})=0$

Maximum Likelihood Estimator

${\hat{\theta }}_{MLE}$

likelihood function	$L(\theta )={\mathrm{\Pi }}_{i=1}^{n}f(x_i;\theta )$
$L(\theta )\mathrm{為}convex$	${\hat{\theta }}_{MLE}\mathrm{可}\mathrm{以}\mathrm{透}\mathrm{過}L(\theta )\mathrm{一}\mathrm{次}\mathrm{微}\mathrm{分}\mathrm{等}\mathrm{於}\mathrm{零}\mathrm{且}\mathrm{二}\mathrm{次}\mathrm{微}\mathrm{分}\mathrm{小}\mathrm{於}\mathrm{零}\mathrm{求}\mathrm{出}$
$L(\theta )\mathrm{為}\mathrm{離}\mathrm{散}\mathrm{不}\mathrm{可}\mathrm{微}\mathrm{分}$	兩面逼近法 $L(N)\ge L(N-1)$ $L(N)\ge L(N+1)$
超幾何分配兩面逼近法	${\hat{N}}_{MLE}\mathrm{為}[\frac{nK}{x}-1,\frac{nK}{x}]\mathrm{之}\mathrm{間}\mathrm{的}\mathrm{正}\mathrm{整}\mathrm{數}$
$L(\theta )\mathrm{為}\mathrm{嚴}\mathrm{格}\mathrm{遞}\mathrm{減}$	${\hat{\theta }}_{MLE}=max\{x_1...x_n\}$
${\hat{\theta }}_{MLE}$~ $N(\theta ,CRLB)$

Method of Moments Estimator

${\hat{\theta }}_{MME}$

母體k階原動差	${\mu }_k=E(X^k)$
樣本k階原動差	$m_k=\frac{\sum _{i=1}^n{x}_i^k}{n}$
母體一階動差等於樣本平均	$E(x)=\overline{x}$
母題二階動差等於樣本變異數加平均平方	$E(x^2)={\hat{s}}^2+{\overline{x}}^2$

區間估計

算式表示方法

$1-\alpha =P(\hat{x}-e<x<\hat{x}+e)$
$x\mathrm{的}(1-\alpha )\mathrm{\%}\mathrm{信}\mathrm{賴}\mathrm{區}\mathrm{間}(\hat{x}-e,\hat{x}+e)$

兩獨立母體

${\mu }_1-{\mu }_2$

情境	誤差
$\mathrm{母}\mathrm{體}\mathrm{為}\mathrm{常}\mathrm{態}、\mathrm{已}\mathrm{知}{\sigma }_1^2、{\sigma }_2^2=>Z\mathrm{分}\mathrm{配}$	$Z_{\frac{\alpha }{2}}\sqrt{\frac{{\alpha }_1^2}{n_1}+\frac{{\alpha }_2^2}{n_2}}$
$\mathrm{未}\mathrm{知}{\sigma }_1^2、{\sigma }_2^2\mathrm{且}{n}_1\ge 30、n_2\ge 30$ $\mathrm{依}\mathrm{據}\mathrm{中}\mathrm{央}\mathrm{極}\mathrm{限}\mathrm{定}\mathrm{理}C.L.T.$	$Z_{\frac{\alpha }{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}$
$\mathrm{母}\mathrm{體}\mathrm{為}\mathrm{常}\mathrm{態}、\mathrm{只}\mathrm{知}{\sigma }_1^2={\sigma }_2^2\mathrm{且}{n}_1<30、n_2<30$ $\mathrm{其}\mathrm{中}{S}_p=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}\mathrm{且}\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{{\sigma }^2}$~ ${\chi }_{(n_1+n_2-2)}^2$	$t_{\frac{\alpha }{2}}(n_1+n_2-2)\sqrt{\frac{S_p^2}{n_1}+\frac{S_p^2}{n_2}}$
$\mathrm{母}\mathrm{體}\mathrm{為}\mathrm{常}\mathrm{態}、\mathrm{只}\mathrm{知}{\sigma }_1^2\ne {\sigma }_2^2\mathrm{且}{n}_1<30、n_2<30$	$t_{\frac{\alpha }{2}}(df)\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}$、 $df=\frac{(\frac{S_1^2}{n_1}+\frac{S_1^2}{n_1}{)}^2}{\frac{(\frac{S_1^2}{n_1}{)}^2}{n_1-1}+\frac{(\frac{S_2^2}{n_2}{)}^2}{n_2-1}}$
母體不為常態且n<30	無母數統計

兩相依母體差期望值

${\mu }_D$

變異數(Di為兩者差異)	誤差
$S_D^2=\frac{1}{n-1}\sum _{i=0}^m(D_i-{\overline{D}}^2)$	$t\frac{\alpha }{2}(n-1)\frac{S_D}{\sqrt{n}}$

兩獨立常態母體變異數比例

$\frac{{\sigma }_1^2}{{\sigma }_2^2}$

查表時可以進行以下變換	$F_{\alpha }(n_1-1,n_2-1)=\frac{1}{F_{1-\alpha }(n_2-1,n_1-1)}$
信賴度 $1-\alpha$的區間	$(\frac{S_1^2}{S_2^2}\frac{1}{F_{\alpha }(n_1-1,n_2-1)},\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha }(n_1-1,n_2-1)})$

兩母體比例差

$p_1-p_2$

$Z_{\frac{\alpha }{2}}\sqrt{\frac{\widehat{p_1}(1-\widehat{p_1})}{n_1}\frac{\widehat{p_2}(1-\widehat{p_2})}{n_2}}$

單一母體p

$z\frac{\alpha }{2}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$

單一母體變異數

${\sigma }^2$

(

$\frac{n{S}^2}{X_{\frac{\alpha }{2}}^2(n)}$,

$\frac{n{S}^2}{X_{1-\frac{\alpha }{2}}^2(n)}$)

單一母體預測區間

$t\frac{\alpha }{2}(n-1)\sqrt{S^2(1+\frac{1}{n})}$

單一母體樣本數

誤差	樣本數
$E=Z\frac{\alpha }{2}\frac{\sigma }{\sqrt{n}}$	$n=\frac{(Z\frac{\alpha }{2}{)}^2{\sigma }^2}{E^2}$

假設檢定

結論\真實	H0為真	H0為假
拒絕H0	$\alpha (\mathrm{型}I\mathrm{錯}\mathrm{誤})$	$1-\beta (\mathrm{檢}\mathrm{定}\mathrm{力})$
接受H0	$1-\alpha$	$\beta (\mathrm{型}II\mathrm{錯}\mathrm{誤})$

$C\{\mathrm{拒}\mathrm{絕}{H}_0|H_0\mathrm{為}\mathrm{真}\}=P(Z>x|x=X)=\alpha$

$C\{\mathrm{拒}\mathrm{絕}{H}_0|H_0\mathrm{為}\mathrm{假}\}=P(Z<x|x=X)=1-\beta$

最強力檢定與抽樣數

情境	臨界值	抽樣數
右尾檢定	$k={\mu }_0+z_{\alpha }\frac{\sigma }{\sqrt{n}}={\mu }_a-z_{\beta }\frac{\sigma }{\sqrt{n}}$	$n=\frac{(Z_{\alpha }+Z_{\beta }{)}^2{\sigma }^2}{({\mu }_1-{\mu }_0{)}^2}$
左尾檢定	$k={\mu }_0-z_{\alpha }\frac{\sigma }{\sqrt{n}}={\mu }_a+z_{\beta }\frac{\sigma }{\sqrt{n}}$	$n=\frac{(Z_{\alpha }+Z_{\beta }{)}^2{\sigma }^2}{({\mu }_1-{\mu }_0{)}^2}$
雙尾檢定	$k={\mu }_0+z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}={\mu }_a-z_{\beta }\frac{\sigma }{\sqrt{n}}$	$n=\frac{(Z_{\frac{\alpha }{2}}+Z_{\beta }{)}^2{\sigma }^2}{({\mu }_1-{\mu }_0{)}^2}$

變異數分析 ANOVA

單因子

|

$x_{ij}=\mu +{\alpha }_i\mathrm{組}\mathrm{間}\mathrm{差}\mathrm{異}+{ϵ}_{ij}\mathrm{組}\mathrm{內}\mathrm{差}\mathrm{異}$|
|-|-|
|

$(x_{ij}-\mu )\mathrm{總}\mathrm{差}\mathrm{異}=(x_i-\mu )+(x_{ij}-x_i)$|
|

$SST(\mathrm{總}\mathrm{變}\mathrm{異})=SSTR(\mathrm{因}\mathrm{子}\mathrm{變}\mathrm{異})+SSE(\mathrm{隨}\mathrm{機}\mathrm{變}\mathrm{異})$|
|

$SST=\sum _{i=1}^K\sum _{j=1}^{n_i}(x_{ij}-\overline{x..}{)}^2=\sum _{i=1}^K\sum _{j=1}^{n_i}{x}_{ij}^2-\frac{T_{..}^2}{N}$|
|

$SSTR=\sum _{i=1}^K\sum _{j=1}^{n_i}(x_{i.}-\overline{x_{..}}{)}^2=\sum _{i=1}^K\frac{T_{i.}^2}{n_i}-\frac{T_{..}^2}{N}=\sum _{i=1}^K{n}_i(\overline{x_i.}-\overline{x..}{)}^2$|
|

$SSE=\sum _{i=1}^K\sum _{j=1}^{n_i}(x_{ij}-\overline{x_{i.}}{)}^2=\sum _{i=1}^K\sum _{j=1}^{n_i}{x}_{ij}^2-\frac{T_{i.}^2}{n_i}=\sum _{i=1}^K(n_i-1)S_i^2$|

Variance Component	SS	df	MS	F
Between	SSTR	K-1	MSTR	$\frac{MSTR}{MSE}$
Within	SSE	N-K	MSE
Total	SST	N-1

隨機集區Randomized Block Design

Variance Component	SS	df	MS	F
Between	SSR	c-1	MSR	$\frac{MSR}{MSE}$
Block	SSB	r-1	MSB	$\frac{MSB}{MSE}$
Within	SSE	(r-1)(c-1)	MSE
Total	SST	rc-1

二因子未重複

Variance Component	SS	df	MS	F
Row	SSR	r-1	MSR	$\frac{MSR}{MSE}$
Column	SSC	c-1	MSC	$\frac{MSC}{MSE}$
Within	SSE	(r-1)(c-1)	MSE
Total	SST	rc-1

二因子重複試驗

Variance Component	SS	df	MS	F
Row	SSR	r-1	MSR	$\frac{MSR}{MSE}$
Column	SSC	c-1	MSC	$\frac{MSC}{MSE}$
Interaction	SSI	(r-1)(c-1)	MSI	$\frac{MSI}{MSE}$
Within	SSE	rc(n-1)	MSE
Total	SST	rcn-1

變異數同質性檢定 Hartley's Test

$H_0:{\sigma }_1^2={\sigma }_2^2=...={\sigma }_k^2={\sigma }^2$
$H_1:{\sigma }_i^2\mathrm{不}\mathrm{全}\mathrm{相}\mathrm{同}$
$H=\frac{Max(S_i^2)}{Min(S_i^2)}$

簡單回歸

變異符號

$S{S}_x=\sum (x_i-\overline{x_i}{)}^2$
$S{S}_{xy}=\sum (x_i-\overline{x_i})(y_i-\overline{y_i})$
$S_x^2=\frac{1}{n-1}\sum (x_i-\overline{x_i}{)}^2$
$S_{xy}=\frac{1}{n-1}\sum (x_i-\overline{x_i})(y_i-\overline{y_i})$

回歸變異數

$\widehat{y_i}=\hat{\alpha }+\hat{\beta }{x}_i$
$SST=\sum (\widehat{y_i}-\overline{y_i}{)}^2=S{S}_y$
$SSR=\sum (y_i-\overline{y_i}{)}^2={\hat{\beta }}^{2}S{S}_x$
$SSE=\sum (y_i-\widehat{y_i}{)}^2=\sum y_i^2-\hat{\alpha }\sum y_i-\hat{\beta }\sum x_i{y}_i$
$MSE=\frac{SSE}{n-2}$

Variance Component	SS	df	MS	F
Regression	SSR	1	MSR	$\frac{MSR}{MSE}$
Error	SSE	N-1	MSE
Total	SST	N-2

迴歸係數求解

$SSE=\sum (y_i-\hat{\alpha }-\hat{\beta }{x}_i{)}^2$
$\mathrm{解}\mathrm{聯}\mathrm{立}\frac{\partial SSE}{\partial \hat{\alpha }}=\frac{\partial SSE}{\partial \hat{\beta }}=0$
$\hat{\beta }=\frac{\sum x_i{y}_i-\frac{(\sum x_i)(\sum y_i)}{n}}{\sum x_i^2-\frac{(\sum x_i{)}^2}{n}}$
$\alpha =\overline{Y}-\hat{\beta }\overline{x}$
$E(MSE)=E(\frac{SSE}{n-2})={\sigma }^2$

回歸模型檢定

斜率是否為 $\beta$	$t=\frac{\hat{\beta }-\beta }{\sqrt{\frac{MSE}{S{S}_x}}}$
截距是否為 $\alpha$	$t=\frac{\hat{\alpha }-\alpha }{\sqrt{\frac{MSE(\sum x_i^2)}{nS{S}_x}}}$
給定x=X，求y平均(期望值)區間	$V({\mu }_{y|x})={\sigma }^2[\frac{1}{n}+\frac{(x-\overline{x}{)}^2}{S{S}_x}]$
給定x=X，求y值區間	$V({\hat{y}}_x)={\sigma }^2[1+\frac{1}{n}+\frac{(x-\overline{x}{)}^2}{S{S}_x}]$
檢定相關係數 $\rho$是否等於零	$t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}$~ $t_{(n-2)}$
檢定相關係數 $\rho$是否等於 ${\rho }_0$	$Z_r=\frac{1}{2}\ln (\frac{1+r}{1-r})$ $Z_{{\rho }_0}=\frac{1}{2}\ln (\frac{1+{\rho }_0}{1-{\rho }_0})$ $Z=\frac{Z_r-Z_{{\rho }_0}}{\sqrt{\frac{1}{n-3}}}$

皮爾森相關係數

相關係數	$r=\frac{S_{xy}}{S_x{S}_y}=\frac{S{S}_{xy}}{\sqrt{S{S}_{x}S{S}_y}}=\frac{\sum (x-\overline{x})(y-\overline{y})}{\sqrt{\sum (x-\overline{x}{)}^2(y-\overline{y}{)}^2}}$
判定係數	$R^2=r^2=\frac{SSR}{SST}$

多元回歸

$s(\beta )={ϵ}^{\prime }ϵ=(y-x\beta {)}^{\prime }(y-x\beta )=y^{\prime }y-{\beta }^{\prime }{x}^{\prime }y-y^{\prime }{x}^{\prime }\beta +{\beta }^{\prime }{x}^{\prime }x\beta =y^{\prime }y-2{\beta }^{\prime }{x}^{\prime }y+{\beta }^{\prime }{x}^{\prime }x\beta$

$\frac{\partial S}{\partial \hat{\beta }}=-2x^{\prime }y+2x^{\prime }x\hat{\beta }=0\mathrm{\Sigma }{x}^{\prime }x\hat{\beta }=x^{\prime }y\hat{\beta }=(x^{\prime }x{)}^{-}1x^{\prime }y$

$SSR={\hat{\beta }}^{\prime }{x}^{\prime }y-\frac{(\mathrm{\Sigma }{y}_i{)}^2}{n}$

$SSE=y^{\prime }y-{\hat{\beta }}^{\prime }{x}^{\prime }y$

$SST=y^{\prime }y-\frac{(\mathrm{\Sigma }{y}_i{)}^2}{n}$

$Cov(\hat{\beta })={\sigma }^2(x^{\prime }x{)}^{-}1Cov({\hat{\beta }}_i,{\hat{\beta }}_j)={\sigma }^2{C}_{ij}$

殘差分析

$e_i=y_i-\widehat{y_i}$

$e=y-\hat{y}=y-X(X^{\prime }X{)}^{-1}Xy=y-Hy=(I-H)y=(I-H)(X\beta +ϵ)$

$V(e)=(I-H)V(ϵ)(I-H{)}^{\prime }={\sigma }^2(I-H)(I-H{)}^{\prime }={\sigma }^2(I-H)$

1. standardized Residuals
   

   $d_i=\frac{e_i}{\sqrt{MSE}}$

2. Studentized Residuals
   

   $r_i=\frac{e_i}{\sqrt{MSE(1-h_{ii})}}$

3. Press Residuals
   

   $PRESS=\frac{e_i}{{\sigma }^2(1-h_{ii})}$

4. R-student
   

   $s_{(i)}^i=\frac{(n-p)MSE-\frac{e_i^2}{1-h_{ii}}}{n-p-1}$
   
   $t_i=\frac{e_i}{\sqrt{S_{(i)}^2(1-h_{ii})}}$

無母數統計 nonparametric statistic

卡方檢定

• 適合度檢定(檢定資料是否符合某種分配)(卜瓦松、二項、常態分配)

理論值	$e_i=\mathrm{試}\mathrm{驗}\mathrm{次}\mathrm{數}n\ast \mathrm{理}\mathrm{論}\mathrm{機}\mathrm{率}{P}_i$
拒絕域	$C=\{{\chi }^2|{\chi }^2>{\chi }_{\alpha }^2(k\mathrm{分}\mathrm{類}\mathrm{個}\mathrm{數}-1-m\mathrm{母}\mathrm{數}\mathrm{估}\mathrm{計}\mathrm{個}\mathrm{數})\}$
統計量	${\chi }^2=\sum _{i=1}^k\frac{(O_i-e_i{)}^2}{e_i}$

次數	0	1	2	…
Oi觀察值	30	27	10	3
ei理論值	29.53	29.53	9.84	1.1

• 獨立性檢定(檢定兩個名義變項是否獨立，又稱列聯檢定)

理論值	$e_i=n{P}_{ij}=n{P}_i{P}_j=n\frac{T_i}{n}\frac{T_j}{n}=\frac{T_i{T}_j}{n}$
拒絕域	$C=\{{\chi }^2|{\chi }^2>{\chi }_{\alpha }^2(r-1)(c-1)\}$
統計量	${\chi }^2=\sum _{i=1}^r\sum _{i=1}^c\frac{(O_i-e_i{)}^2}{e_i}$

Oi(ei)	是	否	合計Ti
項目1	$436(\frac{848\ast 1691}{6913}=207)$	1255(1483)	1691
項目2	208(292)	2174(2089)	2382
項目3	204(304)	2636(2176)	2480
合計Tj	848	6065	6913