---
disqus: ierosodin
---

# Probability distribution

> Organization contact [name= [ierosodin]([e-mail])]
###### tags: `machine learning` `學習筆記`

==[Back to Catalog](https://hackmd.io/@ierosodin/Machine_Learning)==

## Bernoulli distribution

當 sample space 只有兩種 outcome 時，其機率分佈可以用 bernoulli distribution 來模擬。

假設 ${D\ =\ \{x_1,x_2,x_3,...,x_n\}}$ 為的試驗結果，則其 likelihood 為 ${P(D|\theta=p)}$

想要找 MLE，即為找出 ${max\prod_{i=1}^Np^{x_i}(1-p)^{(1-x_i)}}$

由於相乘找極值較難，我們可以對其取 ${log}$，因為 ${log}$ 為嚴格遞增函數，因此其 ${arg max}$ 不變。
${\begin{split}
log\prod_{i=1}^Np^{x_i}(1-p)^{(1-x_i)}\ &=\ \sum_{i=1}^Nlog(p^{x_i}(1-p)^{(1-x_i)}) \\
&=\ \sum_{i=1}^Nx_ilog(p)\ +\ \sum_{i=1}^N(1-x_i)log(1-p)
\end{split}}$

對其微分，
${\begin{split}
&\frac{d}{dp}\ =\ 0 \\
&\Rightarrow\ \sum_{i=1}^Nx_i\frac{1}{p}
\ -\ \sum_{i=1}^N(1-x_i)\frac{1}{1-p}\ =\ 0 \\
&\Rightarrow\ (1-p)\sum_{i=1}^Nx_i\ =\ p(N\ -\ \sum_{i=1}^Nx_i) \\
&\Rightarrow\ p\ =\ \frac{\sum_{i=1}^Nx_i}{N}\ =\ \frac{成功次數}{總次數}
\end{split}}$

## Binomial distribution

binomial distribution 即為對 bernoulli 做 N 次試驗：
${P(X=m|p,N\ =\ {\left(\begin{array}{c}
N \\
m \\
\end{array}\right)}p^m(1-p)^{(N-m)})}$

其中，${X}$ 為 random variable，代表試驗 N 次中，正確的次數，例如擲到正面的次數。

其 mean 與 variance 皆為 bernoulli distribution 的 N 倍：
${E(X)\ =\ Np \\
Var(X)\ ==\ Npq}$

而 MLE 仍為 ${\frac{m}{N}}$