---
disqus: ierosodin
---

# Positive Definite Matrix

> Organization contact [name= [ierosodin]([e-mail])]
###### tags: `Linear Algebra` `學習筆記`

* Positive definite matrix
* 所有的 $\lambda$ 皆大於零
* Symmetric positive definite matrix
* Symmetric matrices: $S = S^T$
* n 個 eigenvalues 都是實數
* n 個 eigenvectors 可為 orthogonal
* Hermitian matrices: $A = (A^*)^T$
* 五個驗證 symmetric matrix 為正定的方法
* $\lambda > 0$
* 對於所有 $x \neq 0$, energy function $x^TSx > 0$
* 正面
* 因為 $x^TSx > 0 \Rightarrow v^TSv > 0$, $v$ 為 $S$ 的 eigenvector
* 又 $v^TSv = v^T\lambda v = \lambda v^Tv > 0 \Rightarrow \lambda > 0$
* 反過來, 若 $\lambda > 0$
* 因為所有 $x$ 都可以由 eigenvectors 透過線性組合產生
* $\begin{split}x^TSx &= (c_1x_1^T + c_2x_2^T + ... + c_nx_n^T)S(c_1x_1 + c_2x_2 + ... + c_nx_n) \\
&= (c_1x_1^T + c_2x_2^T + ... + c_nx_n^T)(c_1\lambda_1x_1 + c_2\lambda_2x_2 + ... + c_n\lambda_nx_n) \\
&= c_1^2\lambda_1x_1^Tx_1 + c_2^2\lambda_2x_2^Tx_2 + ... + c_n^2\lambda_nx_n^Tx_n
\end{split}$
* 因為 $\lambda > 0 \Rightarrow x^TSx > 0$
* $S = A^TA$ 若 $A$ 有互相獨立的 columns 時, 則 $S$ 為正定
* $x^TSx = x^TA^TAx = {||Ax||}^2 > 0$
* 所有的 leading determinants 都大於零
* 正面
* 已知 $det(A_1) = d_1$, $det(A_2) = d_1d_2$ ...
* k-th pivot 等於 $\frac{det(A_k)}{det(A_{k-1})}$
* $S = LDU$, $S^T = U^TDL^T \Rightarrow U = L^T$
* 所以 $S = LDL^T = LD^{-1}D^{-1}L^T = AA^T$
* 又因為 $A = LD^{-1}$ 的 columns 必互為獨立, 因此 $S$ 為正定
* 反面
* 若 $S$ 為正定, 則 $x^TSx > 0$
* 因此取 $x = {\left[
\begin{array}{c}
x_k \\
0 \\
\end{array}
\right]}$, ${\left[
\begin{array}{cc}
x_k^T & 0 \\
\end{array}
\right]} {\left[
\begin{array}{cc}
A_k & ... \\
... & ...
\end{array}
\right]} {\left[
\begin{array}{cc}
x_k \\
0 \\
\end{array}
\right]}$ 必也大於零
* 所以對於所有的 leading sub-matrix, 其 $\lambda$ 皆大於零
* 又已知 determinant of matrix 等於 product of eigenvalues
* 因此所有的 leading determinant 皆大於零
* 所有的 pivots 都大於零
* Similar proof as above
* Two special choices
* $S = Q\Lambda Q^T = Q\sqrt{\Lambda}Q^TQ\sqrt{\Lambda}Q^T = A^TA$
* $S = LDL^T = L\sqrt{D}\sqrt{D}L^T = A^TA$
* Minimum problems
* 在做 energy function 時, $E(x, y) > 0$ 其實就是檢驗 $E(x, y)$ 是不是一個開口向上的 bowl
* 而其最小值極為 $x = 0, y = 0$, $E(x, y) = 0$
* 從多項式的角度, positive definite 相當於存在極小值
* 也就是說存在 $x = x_0, y = y_0$, 使得 $\frac{\partial f}{\partial x} = \frac{\partial f}{\partial y} = 0$, 且 $H = {\left[
\begin{array}{c}
\frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x\partial y} \\
\frac{\partial^2 f}{\partial y\partial x} & \frac{\partial^2 f}{\partial y^2}\\
\end{array}
\right]}$ 在 $x = x_0, y = y_0$ 大於零
* 考慮一正定矩陣 $S = Q\Lambda Q^T$
* $E(x, y) = x^TQ\Lambda Q^Tx = (Q^Tx)^T\Lambda(Q^Tx)$
* 其中, $Q^Tx$ 為再不改變 $x$ 的長度下, 將 $x$ project 另一個空間
* 因此, $E(x, y) = {x^{'}}^T\Lambda x^{'}$ 為在新的空間中, 對 basic 做伸縮
* Example
* $\begin{split}S &= {\left[
\begin{array}{cc}
5 & 4 \\
4 & 5 \\
\end{array}
\right]} = \frac{1}{\sqrt{2}} {\left[
\begin{array}{cc}
1 & 1 \\
1 & -1 \\
\end{array}
\right]} {\left[
\begin{array}{cc}
9 & 0 \\
0 & 1 \\
\end{array}
\right]} \frac{1}{\sqrt{2}} {\left[
\begin{array}{cc}
1 & 1 \\
1 & -1 \\
\end{array}
\right]} \\
\end{split}$
* $\begin{split}E(x, y) &= x^TQ\Lambda Q^Tx \\
&= 9{(\frac{x + y}{\sqrt{2}})}^2 + 1{(\frac{x - y}{\sqrt{2}})}^2 \\
&= 9{x^{'}}^2 + {y^{'}}^2
\end{split}$
* The bigger eigenvalue gives the shorter axis