# 補充：Basic Multivariate Normal Theory

本節內容完全對應參考資料中的網頁，基本上都是定義和證明，用來補充其它筆記中的定義、定理的證明。

證明我寫的基本上和網頁中的差不多，只是比較詳細，少數那裡省略沒證的我有自己證在這裡。

基本上都是數學，所以就保留使用英文了。

---
## 1 Random Vector

### random vector mean, variance 定義

<font color = "snake">Random vector</font> 也就是我們第五章中一直在用的 <font color = "snake">multivariate random variable</font>，它的 mean 和 variance 定義如下：

> 其實之前也講過，但我們就再寫一次比較清楚，順便複習～
>
> 那比較特別的是這個包含了 $k$ 個 random varible 的 random vector，它的 variance 並不是像 mean 一樣直接對每個 variable 取 mean，而是變成了 ++covariance matrix++。

### transform 後的 mean 和 variance

像以前 univariate 時，我們會將 random variable $X$ 乘上 $a$ 再加 $b$，並看看 mean 和 variance 會怎麼改變，也就是：

\begin{equation}
Y = aX + b \qquad a,b \in \mathbb{R}
\end{equation}

去求 $Y$ 的 mean 和 variance，當時我們得到結果：

\begin{equation}
\begin{split}
E[Y] &= E[aX + b] = aE[X] + b\\
Var(Y) &= Var(aX + b) = a^2Var(X)
\end{split}
\end{equation}

於是對含多個 random variable 的 random vector，我們也想類似地去乘上一個矩陣 $B$ 再加上另一個向量 $\vec{a}$，來看看 mean 和 variance 會變成什麼樣子：

> Note：我們的 $U$ 是 $k$-dimensional，但我們的 $B \in \mathbb{R}^{p\times k}$，因此我們是把一個 $k$ 維向量送到 $p$ 維向量，所以不能稱這樣的轉換為 linear。
>> 因此我在小標中僅用 transform 表示。

### covariance matrix：正半定

如果我們令 random vector $U$ 的 variance $Var(U)$（也就是 ++$U$ 中的 random variables $U_i$ 的 covariance matrix++）為 $\Sigma$，那麼：

:::success
$\Sigma$ 是正半定矩陣
:::

且如果 $U$ 中含 $k$ 個 random variables，$\Sigma$ 為 $k\times k$ 矩陣。
> 其實根據定義我們也知道這件事。


- $\Sigma$ 是正半定矩陣也才會使得 MD (Mahalanobis distance) well-defined，因為 MD 的定義為：

\begin{equation}
\sqrt{(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec{\mu})}
\end{equation}

儘管我們只證明了 $\Sigma$ 是正半定而非正定，所以不能保證一定存在 inverse，但我們仍然可以取 pseudo-inverse。
> Recall：若 $A$ 是正定矩陣，則 $A$ 的所有 eigenvalues 都 $>0$，加上 $det(A)$ 為 $A$ 的 eigenvalues 乘積，所以 $det(A)>0$，因此 $A$ 可逆。
>
> $\rightarrow$ 正定矩陣一定可逆。
>
> 但是我們只保證正半定的情況下，可能存在 eigenvalue $\lambda = 0$，這樣一來就有可能使得 $det(A)=0$ 造成反矩陣不存在。

先不考慮 pseudo-inverse，假設 $\Sigma^{-1}$ 存在，則 $\Sigma^{-1}$ 也是 $k\times k$ 的正定矩陣，所以：
> $\Sigma^{-1}$ 的 eigenvalue 為 $\Sigma$ 的 eigenvalues 的倒數，所以存在反矩陣的情況下，代表 $\Sigma$ 為正定，因此它的所有 eigenvalues 都 $>0$，於是取倒數後仍 $>0$，使 $\Sigma^{-1}$ 亦為正定矩陣。

\begin{equation}
\forall \ \vec{y} \in \mathbb{R}^{k \times 1} \qquad \vec{y}^T\Sigma^{-1}\vec{y} > 0
\end{equation}

這樣的情況下，如果取 $\vec{y} = \vec{x}-\vec{\mu}$，我們發現 $(\vec{x}-\vec{\mu})^T\Sigma^{-1}(\vec{x}-\vec{\mu})>0$，因此才能開根號。

:::info
根據定義，我們只能保證 $\Sigma$ 是正半定矩陣，所以我們不能確保它的反矩陣一定存在，但是能取 pseudo-inverse 代表無論如何，至少 MD 能算，且算出來的結果 $\ge 0$（才能符合距離的定義。）

但是在 machine learning 的情境中，實際上當發生 $\Sigma$ 不可逆時，可能的原因是我們的 data 數量比 variables 數量還要少，或是 variables 之間存在線性關係，因此這時候我們會做的通常不是去取 pseudo-inverse，而是回過來檢視、修正我們的 data，去做 dimensionality reduction，來讓 $\Sigma$ 變成 full rank（想辦法讓 $\Sigma$ 可逆。）
:::

## 2 Multivariate Normal

### 定義

> 其實意思等同於：
>
> 我們說一個含 $k$ 個 random variables 的 random vector 具 normal distribution，若我們對它之中的 $k$ 個 random variables 取任意的線性組合，結果都仍是一個 random variable。

### Thm 1


上圖中的這個定理的意思其實是：

如果一個 random vector 是 normal，那就等價於它之中的每個 variable 皆可拆成某組 standard normal random variable 的線性組合，再加上某個值。

為什麼這樣說呢？我們展開式子來看 $U_1$ 就知道了：


證明如下：



根據上面的證明，我們定義 normal random vector 的 notation，並且在證明中我們也發現，這個「產生各個 random variable 的線性組合係數矩陣」 $A$ 會滿足 $\Sigma = AA^T$：


### linear transformations


如果我們有一個 $k$ 維的 normal random vector $U$，我們取一個矩陣 $B$，$B$ 是 $p\times k$ 矩陣，我們將 $B$ 對 $U$ 作用以後，再加上 $p$ 維向量 $a$，就會發現類似 univariate 時我們對一個 normal random variable $X$ 做 linear transform，形成 $aX + b$，結果仍為 normal。

證明如下：


### multivariate normal pdf


證明如下：



---

由於剩下的部分目前還用不到，其餘定理就先不證，等未來如果有用到再繼續補充。如果對 multivariate normal 的其他性質有興趣，可參考下方參考資料的連結。

# 參考資料
- Duke university: [Basic Multivariate Normal Theory](http://www2.stat.duke.edu/~st118/sta732/mvnormal.pdf)