## Maximum Likelihood Estimation(MLE)
先上例子，現存在5個內有無窮多桃子及檸檬的袋子，其內桃子及檸檬分布為:
| 桃子 | 檸檬 |
| --- | ---- |
| 100%| 0% |
| 75% | 25% |
| 50% | 50% |
| 25% | 75% |
| 0% | 100% |

從袋內取到2檸檬的機率為: 0, 0.0625, 0.25, 0.5625, 1
P(2檸檬|袋子)=p^2, p為袋內檸檬機率，兩顆檸檬所以取平方
此為maximum likelihood，假設所有袋子彼此獨立的情況，最大值為袋5的機率

## Maximum a Posterior(MAP)
在現實世界，事件通常不會像上述例子是獨立分布，會存在一個先驗分布(prior probability)
他的概念為
設實際取樣時抽到袋1~袋5的分布為:0.1, 0.2, 0.4, 0.2, 0.1
則遇到i袋並取到2檸檬的機率為:0, 0.0125, 0.0125, 0.1125, 0.1，機率最大值在袋4
此為maximum a posterior, 實際上最有可能從袋4取到這兩顆檸檬

## Marginal Likelihood
首先我們有sample x，想找出其隱藏分布z
$p_\theta (x,z)=p_\theta (x|z)p(z)$
theta為母數，在模型中是block內的node參數
所以我們知道
$p(x)=\int p_\theta (x,z)dz=\int p_\theta (x|z)p(z)dz$
此為marginal likelihood

## Summary
$p(z|x)=p(x|z)p(z)/p(x)=\frac{p(x|z)p(z)}{\int p(x|z)p(z)dz}=\frac{p(x|z)p(z)}{p(x)}$