# Course 9 -- Multivariable methods

## Nouns
* RV (Random vector): 隨機向量的概念是隨機變數概念的多維推廣
* sctterplot: 分布圖
* correlation: 相關性


## Joint proability

在機率論中, 對定義在相同樣本空間的兩個隨機變數X和Y，其聯合分布是同時對於X和Y的機率分布。

例如，對離散隨機變數而言，聯合分布機率質量函數為Pr(X = x & Y = y)
$P(X = x \ and \ Y =y)=P(Y=y|X=x)P(X=x)=P(X=x|Y=y)P(Y=y)$

且因為是機率分布函數，所以有性質 $\sum_x \sum_y P(X=x \ and \ Y=y)=1$

若其隨機變數為獨立事件，則 $P(X=x \ and \ Y=y)=P(X=x)*P(Y=y)$

類似地，對於連續隨機變數而言，聯合分布機率密度函數為$f_{X,Y}(x, y)$
而因為機率是分布函數，所以 $\int_x \int_y \ f_{X, Y}(x, y)dy \ dx = 1$

* jointly Gaussian
意味著在$X_{1}, X_{2}$的任何線性組合下，它們應保持 Gaussian


## Covariance matrix

其矩陣有以下性質:
1. positive semidefinite (行列式大於等於 0，特徵根大於等於 0)
2. symmetric matrix

要計算 convariance matrix 的 inverse 要注意是否為 ill-conditioned matrix
，其解對於干擾十分敏感，因為它 condition number 非常大，所以導致目標函數在不同地方變化不同，
沒有既定規律，難以用局部訊息去準確預測最佳解。

而要解決此問題必須正規劃此矩陣

### Method 1

假設全部 random variable 皆獨立
因此矩陣即成為對角矩陣
即可使用 Naive Bayesian 的方法求最佳估計解

### Method 2

加上特定量的單位矩陣，$\sum ← \sum +\ \lambda I$

## Mahalanobis distance

表示數據的共變異數距離。它是一種有效的計算兩個未知樣本集的相似度的方法。

與歐氏距離不同的是它考慮到各種特性之間的聯繫並且是尺度無關的，即獨立於測量尺度。


馬哈拉諾比斯距離是基於樣本分布的一種距離。

物理意義就是在規範化的主成分空間中的歐氏距離。

所謂規範化的主成分空間就是利用主成分分析對一些數據進行主成分分解。

再對所有主成分分解軸做歸一化，形成新的坐標軸。

由這些坐標軸張成的空間就是規範化的主成分空間。
(橢球分布的樣本改變到另一個空間裡，使其成為球狀分布)

而馬哈拉諾比斯距離就是在樣本呈球狀分布的空間裡面所求得的歐式距離。

## [Bivariate normal](https://zh.wikipedia.org/wiki/%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83)

多變數常態分布亦稱為多變數高斯分布。它是單維常態分布向多維的推廣。

它同矩陣常態分布有緊密的聯繫。