Introduction

這篇主要接續上一篇所說的
接著介紹 conditional 以及 MGF 的部分

Conditional Expectation

基礎公式

conditional expectation :

$E(Y|X=x)=\{\begin{array}{l}\mathrm{\Sigma }y\cdot f_{Y|X}(y|x)⟶\text{discrete}\\ \\ \int \text{color}redy\cdot f_{Y|X}(y|x)\text{color}reddy⟶\text{continuous}\end{array}$
用定義來看就是代表在給定

$X=x$ 之下
小補充 :

$Y$ 的 mean 會隨著

$x$ 的值而改變
並且如果做成圖形，可以發現

$E(Y|X=x)$ 是決定不同分佈之間分得多開

conditional variance :

$V(Y|X=x)=\{\begin{array}{l}\mathrm{\Sigma }(y-\mu (x){)}^2\cdot f_{Y|X}(y|x)⟶\text{discrete}\\ \\ \int \text{color}red(y-\mu (x){)}^2\cdot f_{Y|X}(y|x)\text{color}reddy⟶\text{continuous}\end{array},\text{for }\mu (x)=E(Y|X=x)$
小補充 :

$Y$ 的 var 不會隨著

$x$ 的值而改變
並且如果做成圖形，可以發現

$V(Y|X=x)$ 是決定同分佈之中有多聚集

補充 : (用回歸分析的角度來看)

假設 :

$\{\begin{array}{l}{Y}_i={\beta }_0+{\beta }_1+{ϵ}_i\\ {ϵ}_i\stackrel{iid}{\sim }N(0,{\sigma }^2)\end{array}$

$\Rightarrow Y_t=(Y_i|X_i=x_i)\stackrel{indep}{\sim }N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$

$\Rightarrow E(Y_i|X_i=x_i)={\beta }_0+{\beta }_1{x}_i⟹Y$ 的 mean 會受到

$x$ 值所改變

$\Rightarrow V(Y_i|X_i=x_i)={\sigma }^2⟹Y$ 的 var 不會受到

$x$ 值所改變

---

接著我們來看

$2$ 個變數 :
conditional expectation
if

$r(x,y)$ is a function of

$x,y$

$E(r(X,Y)|X=x)=\{\begin{array}{l}\mathrm{\Sigma }r(x,y)f_{Y|X}(y|x)⟶\text{discrete}\\ \int r(x,y)f_{Y|X}(y|x)dx⟶\text{continuous}\end{array}$

variance :

$V(Y)=E[V(Y|X)]+V[E(Y|X)]$
直觀一點的來看，把

$V$ 跟

$E$ 都加入下標 :

$V(Y)=E_{\text{color}redX}\left[\underset{=h(x)\Rightarrow \text{ conditional variance}}{\underbrace{V_{\text{color}redY}(Y|X)}}\right]+V_{\text{color}redX}\left[\underset{=g(x)\Rightarrow \text{ conditional mean}}{\underbrace{E_{\text{color}redY}(Y|X)}}\right]$

證明過程如下 :

$V(Y)=E(Y-EY{)}^2=\text{color}greenE(Y^2)-\text{color}orange(EY{)}^2$

$=\text{color}green\underset{(1)}{\underbrace{E[E(Y^2|X)]-E{[E(Y|X)]}^2}}+\text{color}orange\underset{(2)}{\underbrace{E[E(Y|X{)}^2]-E{[E(Y|X)]}^2}}$

$\text{color}green(1):=E[[\text{color}purpleE(\text{color}purple{Y}^2|X)]-{[\text{color}purpleE(\text{color}purpleY|X)]}^{\text{color}purple2}]=E[V(Y|X=x)]=\text{color}greenE[V(Y|X)]$

$\text{color}orange(2)，\mathrm{先}\mathrm{令}E(Y|X)=g(x):=Eg(x{)}^2-{[Eg(x)]}^2=V[g(x)]=\text{color}orangeV[E(Y|X)]$

$\therefore V(Y)=\text{color}greenE[V(Y|X)]+\text{color}orangeV[E(Y|X)]$

---

然後我們來看最困難的部分 – Iterated Expectation :
假設

$X,Y$ 都是 random variable，並且期望值都存在

$\Rightarrow \{\begin{array}{l}E\left[E\left[Y|X\right]\right]=E(Y)\\ \\ E\left[E\left[X|Y\right]\right]=E(X)\end{array}$
更直觀一點的來看，我們可以把

$E$ 都加上下標就會知道要怎麼化簡 :

$E_{\text{color}redX}\left[\underset{=r(x)}{\underbrace{E_{\text{color}redY}\left[Y|X\right]}}\right]=E(Y)$
廣義上來說，也可以轉換成這樣 :

$E\left[E[r(X,Y)|X]\right]=E(r(X,Y))$

$E_{\text{color}redX}\left[\underset{=r(x)}{\underbrace{E_{\text{color}redY}[r(X,Y)|X]}}\right]=E(r(X,Y))$

證明過程如下 :

首先從

$E_Y(Y|X=x)$ 開始證明 :

$E_Y(Y|X=x)=\int y\cdot f_{Y|X}(y|x)dy=g(x)\Rightarrow E_Y(Y|X)=g(x)$

接著就能得到

$E\left[E\left[Y|X\right]\right]=E(Y)$ :

$E\left[E\left[Y|X\right]\right]=E(Y)=E_X{E}_Y(Y|X)$

$=E[g(x)]=\int g(x)f_X(x)dx$

$=\int \int y\cdot f_{Y|X}(y|x)f_X(x)dydx=\int \int y\cdot f(x,y)dxdy=\int y\text{color}purple\underset{―}{\int f(xy)dx}dy=\int y\text{color}purple\underset{―}{f_Y(y)}dy=EY$

Examples

Question 1

question :

$X\sim UNIF(0,1),Y|X=x\sim UNIF(x,1)$, 求出

$E(Y|X=x)$

solution :
可以先從題目得知

$f_{Y|X}(y|x)=\frac{1}{1-x}$
然後有 2 種解題方式 :

• method 1 : 在數學上來看
  

  $E(Y|X=x)={\int }_x^{1}y{f}_{Y|X}(y|x)dy={\int }_x^{1}y\frac{1}{1-x}dy=\underset{\text{固定會和 }x\text{有關}}{\underbrace{\frac{1+x}{2}}}$

• method 2 : 從直觀上來看
  

  $E(Y|X=x)=\frac{1+x}{2}$

Question 2

question :

$X\sim UNIF(0,1),Y|X=x\sim UNIF(x,1)$, 求出

$EY$

solution :
可以先從上一題得知

$E(Y|X=x)=\frac{1+x}{2}$
然後有 2 種解題方式 :

• method 1 : 列出所有可能性
  

  $Y$ 的所有可能值 :
  $\frac{1}{2}(1+x),x\in [0,1]$
  
  $\mathrm{可}\mathrm{能}\mathrm{性}:f_X(x)=1$
  
  $\Rightarrow EY={\int }_0^1\frac{1}{2}(1+x)f_X(x)dx=\frac{3}{4}$

• method 2 : 直接用公式
  

  $EY=E_{\text{color}redX}{E}_{\text{color}redY}(Y|X)=E_X[\frac{1}{2}(1+x)]=\frac{1}{2}+\frac{1}{2}EX=\frac{3}{4}$

Question 3

question :

$Q\sim UNIF(0,1),X|Q=q\sim BIN(n,q)$, 求出

$EX,VX$

solution :
先解析題目 :

$Q\sim UNIF(0,1)\Rightarrow \{\begin{array}{l}EQ=\frac{1}{2}\\ VQ=\frac{1}{12}\end{array},\text{by formula in chapter 3.4}$

$X|Q=q\sim BIN(n,q)\Rightarrow \{\begin{array}{l}E(X|Q=q)=nq\\ V(X|Q=q)=nq(1-q)\end{array},\text{by formula in chapter 3.4}$
接著就可以計算了 :

$\underset{\text{color}red\text{important}}{\underbrace{EX=E_{\text{color}purpleQ}[E_{\text{color}purpleX}(X|Q)]}}=E_Q(nQ)=nEQ=\frac{2}{n}$

$\underset{\text{color}red\text{important}}{\underbrace{VX=V_{\text{color}purpleQ}[E_{\text{color}purpleX}(X|Q)]+E_{\text{color}purpleQ}[V_{\text{color}purpleX}(X|Q)]}}=V_Q(nQ)+E_Q(nQ\cdot (1-Q))=\frac{n^2}{12}+n(EQ-E{Q}^2)$

$=\frac{n^2}{12}+\frac{n}{2}-n\cdot \underset{\text{color}redE{Q}^2=VQ-(EQ{)}^2}{\underbrace{(\frac{1}{12}+\frac{1}{4})}}$

Moment Generating Function(MGF)

又被稱作 MGF 或是 Laplace transform

基礎公式

${\psi }_X(t)=\mathbb{E}(e^{tX})=\int e^{tx}dF(x)$
並且

$\{\begin{array}{l}EX={\psi }_X^{\prime }(t)\\ \\ E{X}^2={\psi }_X^{\prime \prime }(t)=VX+(EX{)}^2\end{array}$

證明過程如下 :

• ${\psi }_X^{\prime }(t)=\frac{d}{dt}\int e^{tx}{f}_X(x)dx=\int \text{color}redx\cdot e^{tx}{f}_X(x)dx\stackrel{t=0}{⟹}{\psi }_X^{\prime }(0)=\int x{f}_X(x)dx=EX$

• ${\psi }_X^{\prime \prime }(t)=\frac{d}{dt}{\psi }_X^{\prime }(t)=\frac{d}{dt}\int x{e}^{tx}{f}_X(x)dx=\int \text{color}red{x}^2\cdot e^{tx}{f}_X(x)dx\stackrel{t=0}{⟹}{\psi }_X^{\prime \prime }(0)=\int x^2{f}_X(x)dx=E{X}^2$

---

接下來這邊介紹

$MGF$ 的一些重要特性

• if
  $Y=aX+b\Rightarrow {\psi }_Y(t)=e^{bt}\cdot {\psi }_X(\alpha t)$
• if
  $X_1,...,X_n$ are
  $\text{color}red\text{independent}$, and
  $Y={\mathrm{\Sigma }}_i{X}_i\Rightarrow {\psi }_Y(t)={\mathrm{\Pi }}_i{\psi }_i(t),{\varphi }_i=MGF\text{ of }{X}_i$
• $X,Y$ are random variables, if
  ${\psi }_X(t)={\psi }_Y(t)$ for all
  $t\Rightarrow X\stackrel{d}{=}Y$

Important MGF of Commom Distribution

Distribution	MGF ( $\psi (t)$)
Bernoulli ( $p$)	$p{e}^t+(1-p)$
Binomial ( $n,p$)	$(p{e}^t+(1-p){)}^n$
Poisson ( $\lambda$)	$e^{\lambda (e^t-1)}$
Normal ( $\mu ,\sigma$)	$e^{\mu t+\frac{{\sigma }^2{t}^2}{2}}$
Gamma ( $\alpha ,\beta$)	$(\frac{1}{1-\beta t}{)}^{\alpha },t<\frac{1}{\beta }$

Examples

Question 1

question :

$X\sim Exp(\theta ),f(x)=\frac{1}{\theta }{e}^{-\frac{x}{\theta }},x>0$, 求出

$EX,VX$

solution :

$\begin{array}{rl}\psi (t)& =E{e}^{tx}={\int }_0^{\mathrm{\infty }}{e}^{tx}f(x)dx={\int }_0^{\mathrm{\infty }}\frac{1}{\theta }{e}^{x(t-\frac{1}{\theta })}dx\\ & ={[\frac{1}{\theta }\cdot \frac{\theta }{t\theta -1}\cdot e^{x(t-\frac{1}{\theta })}]}_0^{\mathrm{\infty }}=\frac{1}{1-\theta t}={[1-\theta t]}^{-1},t\approx 0,t-\frac{1}{\theta }<0\end{array}$

$\Rightarrow EX={[{\psi }^{\prime }(t)]}_{t=0}={[-(1-\theta t{)}^{-2}\cdot (-\theta )]}_{t=0}=\theta$

$\Rightarrow E{X}^2={[{\psi }^{\prime \prime }(t)]}_{t=0}={[2(1-\theta t{)}^{-3}\cdot {\theta }^2]}_{t=0}=2{\theta }^2$

$\Rightarrow VX=E{X}^2-(EX{)}^2=2{\theta }^2-{\theta }^2={\theta }^2$

Question 2

question :

$X_i\stackrel{iid}{\sim }Bernoulli(p),f(x)=\{\begin{array}{l}1,\text{with probability }=p\\ 0,\text{with probability }=1-p\end{array},Y={\mathrm{\Sigma }}_{i=1}^n{x}_i\sim ?$ 求出

$Y$ 的分佈

solution :

${\psi }_{x_i}(t)=E{e}^{t{x}_i}=e^{t\cdot 0}\cdot f(0)+e^{t\cdot 1}\cdot f(1)=1-p+p{e}^t$

${\psi }_Y(t)={\mathrm{\Pi }}_{i=1}^n{\psi }_{x_i}(t)=(1-p+p{e}^t{)}^n⟵$ 確實是

$Bin(n,p)$ 的

$MGF$

Question 3

question :

$\{\begin{array}{l}{X}_1\sim Bin(n_1,p)\\ X_2\sim Bin(n_2,p)\\ X_1\perp X_2\end{array}\Rightarrow \mathrm{求}{X}_1+X_2\mathrm{的}\mathrm{分}\mathrm{佈}$

solution :
在開始計算之前，我們可以知道 :

$P(X_1+X_2=t)={\mathrm{\Sigma }}_{(X_1+X_2=t)}P(X_1=x_1,X_2=x_2)$

${\psi }_{X_1+X_2}(t)=E{e}^t=...={\psi }_{X_1}(t)\cdot {\psi }_{X_2}(t)=(1-p+e^{t}p{)}^{n_1}\cdot (1-p+e^{t}p{)}^{n_2}=(1-p+e^{t}p{)}^{n_1+n_2}$

$\Rightarrow X_1+X_2\sim Bin(n_1+n_2,p)$

Question 4

question :

$X_i\sim Poi({\lambda }_i),i=1,2,...,n,X_i\text{ is independent},\mathrm{求}{\mathrm{\Sigma }}_{i=1}^n{X}_i\sim ?$

solution :
在開始計算之前，我們可以知道 :

$P(X_1+X_2+...+X_n=t)={\mathrm{\Sigma }}_{(X_1+X_2+...+X_n=t)}P(X_1=x_1,X_2=x_2,...,X_n=x_n)$

${\psi }_{X_1+...+x_n}(t)={\mathrm{\Pi }}_{i=1}^n{\psi }_{X_i}(t)={\mathrm{\Pi }}_{i=1}^n\underset{Poi\text{ 的 mgf}}{\underbrace{\text{color}green{e}^{{\lambda }_i(e^t-1)}}}=e^{\text{color}green({\mathrm{\Sigma }}_{i=1}^n{\lambda }_i)(e^t-1)}$

$\Rightarrow X_1+X_2+...+X_n={\mathrm{\Sigma }}_{i=1}^n{X}_i\sim Poi({\mathrm{\Sigma }}_{i=1}^n{\lambda }_i)$