NTU 機器學習 HW2
===

## 1.
### Question

### Answer
對 $π_k$ 取 Log Likelihood。

\begin{equation}
L(π, λ) = \sum_{n=1}^N\sum_{k=1}^Ky_{n, k}[logP(x_n|C_k) + logπ_k] + λ(\sum_{k=1}^Kπ_k-1)
\end{equation}

Log Likelihood 對 $π_k$ 取偏微分並取極值。

\begin{equation}
\dfrac{∂L(π, λ)}{∂π_k} = \dfrac{1}{π_k}\sum_{n=1}^Ny_{n, k} + λ = 0\\
π_k = -\dfrac{1}{λ}\sum_{n=1}^Ny_{n, k} = -\dfrac{N_k}{λ}
\end{equation}

再對 λ 取偏微分。
\begin{equation}
\dfrac{∂L(π, λ)}{∂λ} = \sum_{k=1}^Kπ_k-1 = 0\\
\sum_{k=1}^Kπ_k = 1
\end{equation}

因此得證
\begin{equation}
\sum_{k=1}^Kπ_k = \sum_{k=1}^K-\dfrac{N_k}{λ} = -\dfrac{N}{λ} = 1\\
λ = -N\\
π_k = \dfrac{N_k}{N}
\end{equation}

## 2.
### Question

### Answer
根據行列式的計算方式，可得以下等式(如 Hint 上半部)。

\begin{equation}
|Σ| = \sum_{i=1}^m(-1)^{i+j}σ_{ij}|Σ_{ij}|\\
\dfrac{∂|Σ|}{σ_{ij}} = (-1)^{i+j}|Σ_{ij}|
\end{equation}

由於 Σ 可逆，所以必定存在 x 滿足 $Σx=e_i$。
根據克拉瑪法則，可以得到以下等式(如 Hint 左下)。

\begin{equation}
x^{(j)} = \dfrac{|Σ_{ij}|}{|Σ|}\\
e_j^TΣ^{-1}e_i = \dfrac{(-1)^{i+j}|Σ_{ij}|}{|Σ|}
\end{equation}

最後代入前面等式，其中 |Σ| 取 log 是因為分母有 |A|。

\begin{equation}
e_j^TΣ^{-1}e_i = \dfrac{∂log|Σ|}{∂σ_{ij}}
\end{equation}

## 3.
### Question

### Answer
設 $π_k=p(C_k)$，根據 Gaussian Distribution 的假設，可得下列等式。

\begin{equation}
p(x_n, C_k) = π_kN(x_n|µ_k, Σ)
\end{equation}

Likelihood Function 如下。

\begin{equation}
p(t|π, µ1, µ2, Σ) = \prod_{k=1}^K\prod_{n=1}^N[πN(x_n|µ_k, Σ)]^{t_{nk}}
\end{equation}

Log Likelihood Function 如下。

\begin{equation}
lnp(t|π, µ1, µ2, Σ) = \sum_{k=1}^K\sum_{n-1}^Nt_{nk}lnπ_k + t_{nk}N(x_n|µ_k, Σ)
\end{equation}

對 π 做偏微分。

\begin{equation}
π_k = \dfrac{1}{N}\sum_{n=1}^Nt_n = \dfrac{N_k}{N}
\end{equation}

對 µ、Σ 做偏微分之前，先把上式的 Gaussian Distribution 展開。

\begin{equation}
\sum_{n=1}{N}t_{nk}lnN(x_n | µ_k, Σ) = -\dfrac{1}{2}\sum_{n=1}{N}t_{nk}(x_n - µ_k)^TΣ^{-1}(x_n-µ_k) + C
\end{equation}

對 µ 做偏微分。

\begin{equation}
µ_k = \dfrac{1}{N_k}\sum_{n=1}^{N}(1-t_n)x_n
\end{equation}

對 Σ 做偏微分。

\begin{equation}
Σ = \sum_{k=1}^K\dfrac{N_k}{N}S_k
\end{equation}