Introduction

這篇主要在講我們的期望值

Expectation of a Random Variable

這些名詞所代表的東西是一樣的，都是表示期望值 :

• expected value
• mean
• first moment

直觀的來看，就是代表這個函式的中心

如果用數學表示 :

${\mu }_x=\mathbb{E}(X)=\int xdF(x)\{\begin{array}{l}{\mathrm{\Sigma }}_{x}xf(X),\text{X is discrete}\\ \\ \int xf(x)dx,\text{X is continuous}\end{array}$

常見 distribution 的

$EX$

接下來就用常見的 distribution 當作例子 :

• $X\sim Bernoulli(p)\Rightarrow x\in \{0,1\}$
  
  $EX=0\times (1-p)+1\times p=p$

• $X\sim BIN(n,p)\Rightarrow x\in \{0,1,......,n\}$
  
  $EX={\mathrm{\Sigma }}_{x=0}^{n}x{C}_x^n{p}^x(1-p{)}^{n-x}=np$

• $X\sim UNIF(p)$
  
  $EX={\int }_a^{b}xf(x)dx=\frac{a+b}{2}$

• $X\sim POI(\lambda )$
  
  $EX=......\text{by def}=\lambda$

• $X\sim EXP(\beta )$
  
  $EX=......\text{by def}=\beta$

• $X\sim Gamma(\alpha ,\beta )$
  
  $EX=......\text{by def}=\alpha \beta$

基礎公式

先令

$Y=r(X),Z=r(X,Y)$

• $EY=E(r(x))=\int r(x)d{F}_X(x)$
• $EZ=E(r(X,Y))=\int \int r(x,y)f(x,y)dxdy$

證明過程如下 :

$EY$ :
我們在已知

$X$ 的分布的情況下要求出

$EY$

$\text{Let }Y=r(X)$

$\Rightarrow \underset{=\int yd{F}_Y(y)\Rightarrow \mathrm{找}y\mathrm{的}\mathrm{分}\mathrm{佈}}{\underbrace{E(Y)}}=E(r(X))=\int r(x)d\underset{\mathrm{直}\mathrm{接}\mathrm{使}\mathrm{用}x\mathrm{的}\mathrm{分}\mathrm{佈}}{\underbrace{F_X(x)}}$

Examples

Question 1

question :

$X\sim UNIF(0,1),Y=r(X)=e^X$, 求出

$EY$

solution :
首先把題目做解析
從

$X$ 可以看出 :

$f_X=\{\begin{array}{l}1,0\le x\le 1\\ \\ 0,\text{otherwise}\end{array}$
從

$Y$ 可以看出 :

$x=r^{-1}(y)=ln(y)$

然後有 2 種解題方式 :

• method 1 : 找出

  $y$ 的分佈
  
  $f_Y(y)=f_X(ln(y))\frac{dln(y)}{dy}=1\times \frac{1}{y}=\frac{1}{y},1\le y\le e$
  
  $EY={\int }_1^{e}y{f}_Y(y)dy={\int }_1^{e}y\cdot \frac{1}{y}dy={\left[y\right]}_1^e=e-1$

• method 2 : lazy, by fomula
  

  $\underset{\mathrm{對}y\mathrm{的}\mathrm{分}\mathrm{佈}\mathrm{做}}{\underbrace{EY}}=\underset{\mathrm{對}x\mathrm{的}\mathrm{分}\mathrm{佈}\mathrm{做}}{\underbrace{Er(X)}}={\int }_{\text{color}red0}^{\text{color}red1}r(x)f_{\text{color}redx}\text{color}red(x)dx={\int }_0^1{e}^x\times 1={\left[e^x\right]}_0^1=e-1$

Question 2

question :

$X\sim UNIF(0,1),Y=max(x,1-x)$, 求出

$EY$

solution :
有 2 種解題方式 :

• method 1 : 找出

  $y$ 的分佈
  
  $F_Y(y)=P(Y\le y)=P(max(x,1-x)\le y)=P(x\le y\mathrm{\&}(1-x)\le y)=P((1-y)\le x\le y)$
  
  $={\int }_{1-y}^y{f}_X(x)dx={\left[x\right]}_{1-y}^y=2y-1,\frac{1}{2}\le y\le 1$
  因為上面做出來的是
  $cdf$，我們要得知
  $EY$ 是要用
  $pdf$，因此要進行微分
  
  $f_Y(y)=\frac{d}{dy}{F}_Y(y)=y\Rightarrow EY={\int }_{\frac{1}{2}}^{1}y\cdot f_Y(y)dy={\int }_{\frac{1}{2}}^{1}2ydy=\frac{3}{4}$

• method 2 : lazy, by fomula
  從題目可以先得知可能會需要拆開來看，因此我們先做表格確認一下

  $x$	$y=r(x)$
  $\frac{1}{3}$	$\frac{2}{3}\Rightarrow \text{color}green1-x$
  $\frac{2}{3}$	$\frac{2}{3}\Rightarrow \text{color}greenx$

  從表格可以看出我們會需要拆成

  $2$ 段來計算
  
  $\{\begin{array}{l}0<x<\frac{1}{2}:1-x\\ \frac{1}{2}<x<1:x\end{array}$
  $EY=Er(X)={\int }_{\text{color}purple0}^{\text{color}purple1}\text{color}purpler(x)f_X(x)dx$
  
  $={\int }_0^{\frac{1}{2}}(1-x)f_X(x)dx+{\int }_{\frac{1}{2}}^1(x)f_X(x)dx$
  
  $={\int }_0^{\frac{1}{2}}(1-x)dx+{\int }_{\frac{1}{2}}^1(x)dx=\frac{3}{4}$

Question 3

question :

$(X,Y)\sim \underset{\text{color}purplef(x,y)=1}{\underbrace{\text{uniform distribution}}}\underset{\text{color}blue[0,1]\times [0,1]}{\underbrace{\text{ on the unit square}}},Z=r(x,y)=X^2+Y^2,$ 求

$EZ$

solution :
有 2 種解題方式 :

• method 1 : 找出

  $z$ 的分佈
  
  $...\mathrm{同}\mathrm{上},\mathrm{省}\mathrm{略}...$

• method 2 : lazy, by fomula
  

  $EZ=Er(X,Y)={\int }_0^1{\int }_0^1(x^2+y^2)f(x,y)dxdy$
  
  $={\int }_0^1{\int }_0^1(x^2+y^2)dxdy=\frac{2}{3}$

Properties of Expectation

基礎公式

$X_1,...,X_n$ 是 random variables，且

$a_1,...,a_n$ 是常數
這時

$E({\mathrm{\Sigma }}_i{a}_i{X}_i)={\mathrm{\Sigma }}_i{a}_{i}E(X_i)$

證明過程如下 :

$E(a_1{x}_1+a_2{x}_2)=\int \int (a_1{x}_1+a_2{x}_2)f(x_1,x_2)d{x}_{1}d{x}_2$

$=\int \int \text{color}orange(a_1{x}_1)\cdot f(x_1,x_2)d{x}_2\text{color}oranged{x}_1+\int \int \text{color}orange(a_2{x}_2)\cdot f(x_1,x_2)d{x}_1\text{color}oranged{x}_2$

$=\int (a_1{x}_1)\cdot \int f(x_1,x_2)d{x}_{2}d{x}_1+\int (a_2{x}_2)\cdot \int f(x_1,x_2)d{x}_{1}d{x}_2$

$=\int a_1{\left[\underset{―}{x_1\cdot f_1(x_1)d{x}_1}\right]}_{=E{X}_1}+\int a_2{\left[\underset{―}{x_2\cdot f_2(x_2)d{x}_2}\right]}_{=E{X}_2}$

$=a_{1}E{X}_1+a_{2}E{X}_2$

---

$X_1,...,X_n$ 是 independent random variables
這時

$E({\mathrm{\Pi }}_i^n{X}_i)={\mathrm{\Pi }}_i^{n}E(X_i)$

證明過程如下 :

$E(x_1{x}_2)=\int \int (x_1{x}_2)\underset{\text{color}red\text{independent}}{\underbrace{f(x_1,x_2)}}d{x}_{1}d{x}_2$

$=\int \int x_1\text{color}orange\underset{―}{x_2}{f}_1(x_1)\text{color}orange\underset{―}{f_2(x_2)}d{x}_{1}d{x}_2\stackrel{\text{把橘色部分丟到外面}}{⟹}$

$=\int x_2{f}_2(x_2)\cdot {\left[\underset{―}{\int x_1{f}_1(x_1)d{x}_1}\right]}_{=E{X}_1}d{x}_2$

$=\int x_2{f}_2(x_2)\cdot E{X}_{1}d{x}_2=E{X}_1{\left[\underset{―}{\int x_2\cdot f_2(x_2)d{x}_2}\right]}_{=E{X}_2}$

$=E{X}_1\cdot E{X}_2$

Variances and Covariance

基礎公式

先令

$X$ 是一個 random variable，並且它的 mean 跟 variance 分別為

$\mu ,{\sigma }^2(\mathrm{也}\mathrm{可}\mathrm{用}{\sigma }_X^2,\mathbb{V}(X),\mathbb{V}X\mathrm{代}\mathrm{稱})$
並且

${\sigma }^2$ 的定義為 :

${\sigma }^2=\mathbb{E}(X-\mu {)}^{\text{color}red2}=\int (x-\mu {)}^{2}dF(x)$

另外 variance 會遵循以下特性 :

1. $\mathbb{V}(X)=\mathbb{E}(X^2)-{\mu }^2$
2. $\mathbb{V}(aX-b)=a^2\mathbb{V}(X),\text{for }a,b\in \text{constant}$
3. $\mathbb{V}({\mathrm{\Sigma }}_{i=1}^n{a}_i{X}_i)={\mathrm{\Sigma }}_{i=1}^n\text{color}red{a}_i^2\mathbb{V}(X_i),\text{for }{X}_1,...,X_n\text{ are independent, and }a\in \text{constant}$

證明過程如下 :

1. $VX=E(x-\mu {)}^2=E(x^2-2x\mu +{\mu }^2)=......=E{X}^2-{\mu }^2$
2. $V(ax+b)=E{[(ax+b)-E(ax+b)]}^2=......=a^{2}VX⟶$ 數學上
   
   $V(ax+b)=V(aX)=a^{2}VX⟶$ 直觀上
3. $V(a_1{x}_1+a_2{x}_2)=E{[a_1{x}_1+a_2{x}_2-E(a_1{x}_1+a_2{x}_2)]}^2=...(\text{related to }E{Y}_1{Y}_2=E{Y}_{1}E{Y}_2)...$

---

上述說的都是母體的情況，接下來這部分要講 sample mean & sample variance
先令

$X_i,...,X_n$ 都是相同且相互獨立的分佈
並且令

$\mu =\mathbb{E}(X_i),{\sigma }^2=\mathbb{V}(X_i)$
這時 :

$\mathbb{E}(\overline{X_n})=\mu ,\mathbb{V}(X)=\frac{{\sigma }^2}{n},\mathbb{E}(S_n^2)={\sigma }^2$

證明過程如下 :

$E\overline{X_n}=E(\frac{1}{n}{\mathrm{\Sigma }}_{i=1}^n{X}_i)=......=\mu$

$V\overline{X_n}=E{[(\frac{1}{n}{\mathrm{\Sigma }}_{i=1}^n{X}_i)-E(\overline{X_n})]}^2=\frac{{\sigma }^2}{n}$
important :

$E{S}_n^2=E[\frac{1}{n-1}\mathrm{\Sigma }(X_i-\overline{X_n}{)}^2]=E[\frac{1}{n-1}\mathrm{\Sigma }(X_i^2-2X_i\overline{X_n}+{\overline{X_n}}^2)]=......={\sigma }^2$

---

接著我們來看 covariance & correlation
先令

$X_i,...,X_n$ 和

$Y_i,...,Y_n$ 都是 random variables，並且 means 跟 standard deviation 分別為

${\mu }_X,{\sigma }_X,{\mu }_Y,{\sigma }_Y$
這時 :

• covariance :
  

  $Cov(X,Y)=\mathbb{E}((X-{\mu }_X)(Y-{\mu }_Y))=\underset{=E[(X-EX)(Y-EY)]}{\underbrace{E(XY)-E(X)E(Y)}}$
  小補充 :
  $Cov$ 的大小代表線性關係的強度，
  $Cov$ 的正負代表線性關係的方向

• correlation :
  

  $\rho ={\rho }_{X,Y}=\rho (X,Y)=\frac{Cov(X,Y)}{\text{color}red{\rho }_X{\rho }_Y},-1\le \rho (X,Y)\le 1$
  假設
  $Y=aX+b,a,b\in \text{constant}$
  這時 :
  $\{\begin{array}{l}\rho (X,Y)=1,a>0\\ \rho (X,Y)=-1,a<0\end{array}$ (下面有附上證明)
  另外，如果
  $X$ 跟
  $Y$ 是獨立的(independent)
  $\Rightarrow Cov(X,Y)=\rho =0$
  證明過程如下 :

  已知

  $Y=aX+b,VY=a^{2}VX$
  

  $\Rightarrow cov(X,Y)=cov(X,aX+b)=E[X(aX+b)]-(EX)(aEX+b)$
  

  $=E(a{X}^2+bX)-(EX)(aEX+b)=......=\underset{corr(X,Y)=1\text{ or }-1\text{ depending on }a}{\underbrace{a{\sigma }^2}}=\underset{sd(Y)}{\underbrace{(a\sigma )}}\underset{sd(X)}{\underbrace{\sigma }}$

---

接著我們來看

$2$ 個變數的 variance

$\{\begin{array}{l}V(X+Y)=V(X)+V(Y)+2\cdot Cov(X,Y)\\ V(X-Y)=V(X)+V(Y)-2\cdot Cov(X,Y)\end{array}$
廣義上來說，也可以轉換成這樣 :

$V({\mathrm{\Sigma }}_i{a}_i{X}_i)={\mathrm{\Sigma }}_i{a}_i^{2}V(X_i)+2\mathrm{\Sigma }{\mathrm{\Sigma }}_{i<j}{a}_i{a}_j\cdot Cov(X_i,X_j)$

Examples

Question 1

question :

$X\sim BIN(n,p),\mathrm{求}\mathrm{出}EX,VX$

solution :
然後有 2 種解題方式 :

• method 1 : by basic def
  

  $EX={\mathrm{\Sigma }}_{X}xf(x)$
  
  $VX={\mathrm{\Sigma }}_X(x-\mu {)}^2=E{X}^2-\mu$

• method 2 : by scratch
  

  $X={\mathrm{\Sigma }}_{i=1}^n{Z}_i,Z_i\stackrel{iid}{\sim }Bernoulli(p)\Rightarrow E{Z}_i=p,V{Z}_i=p(1-p)$
  
  $EX=E{\mathrm{\Sigma }}_{i=1}^n{Z}_i={\mathrm{\Sigma }}_{i=1}^{n}E{Z}_i=np⟵\text{color}purple\mathrm{不}\mathrm{需}\mathrm{要}{Z}_i\mathrm{的}\mathrm{條}\mathrm{件}$
  
  $VX=V{\mathrm{\Sigma }}_{i=1}^n{Z}_i={\mathrm{\Sigma }}_{i=1}^{n}V{Z}_i=np(1-p)⟵\text{color}purple\mathrm{需}\mathrm{要}{Z}_i\mathrm{的}\mathrm{條}\mathrm{件}$

Question 2

question :

$X\sim Gamma(\alpha ,\beta ),\mathrm{求}\mathrm{出}EX,VX$

solution :
然後有 2 種解題方式 :

• method 1 : by basic def
  

  $......$

• method 2 : by scratch
  

  $X={\mathrm{\Sigma }}_{i=1}^n{Z}_i,Z_i\stackrel{iid}{\sim }exp(\beta )\Rightarrow E{Z}_i=\beta ,V{Z}_i={\beta }^2$
  
  $EX=E{\mathrm{\Sigma }}_{i=1}^{\alpha }{Z}_i={\mathrm{\Sigma }}_{i=1}^{\alpha }E{Z}_i=\alpha \beta$
  
  $VX=V{\mathrm{\Sigma }}_{i=1}^{\alpha }{Z}_i={\mathrm{\Sigma }}_{i=1}^{\alpha }V{Z}_i=\alpha {\beta }^2$

Expectation and Variances of Important Random Variables

粗體的部分是一定要記住的!!!

Distribution	Mean	Variance
Point mass at $a$	$a$	$0$
Bernoulli $(p)$	$p$	$p(1-p)$
Binomial $(n,p)$	$np$	$np(1-p)$
Geometric $(p)$	$1/p$	$(1-p)/p^2$
Poisson $(\lambda )$	$\lambda$	$\lambda$
Uniform $(a,b)$	$(a+b)/2$	$(b-a{)}^2/12$
Normal $(\mu ,{\sigma }^2)$	$\mu$	${\sigma }^2$
Exponential $(\beta )$	$\beta$	${\beta }^2$
Gamma $(\alpha ,\beta )$	$\alpha \beta$	$\alpha {\beta }^2$
Beta $(\alpha ,\beta )$	$\alpha /(\alpha +\beta )$	$\alpha \beta /((\alpha +\beta {)}^2(\alpha +\beta +1))$
$t_{\nu }$	$0,\text{if }\nu >1$	$\nu /(\nu -2),\text{if }\nu >2$
${\chi }_p^2$	$p$	$2p$
Multinomial $(n,p)$	$np$	$\text{see below}$
Multivariate Normal $(\mu ,\mathrm{\Sigma })$	$\mu$	$\mathrm{\Sigma }$