# 李宏毅_Linear Algebra Lecture 33: Symmetric Matrix
###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture`
[課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW)
## Linear Algebra Lecture 33: Symmetric Matrix
[課程連結](https://www.youtube.com/watch?v=0ijUQ-RfN3I&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=34)

### Eigenvalues are real

Symmetric Matrix(對稱矩陣)的eigenvalues一定是正(real-實數)，無虛根。

考慮一個2x2的對稱矩陣$A=A^T=\begin{bmatrix}a&b\\b&c\end{bmatrix}$，找其eigenvalue：
* 寫下characteristic polynomial，計算其determinant，即$det(A-tI_2) = t^2-(a+c)t + ac - b^2$
* 一元二次的多項式求解可以直接套公式，即$b^2 - 4ac \geq 0$，也就是$(a+c)^2 - 4(ac-b^2)\geq 0 = (a-c)^2 +4b^2 \geq 0$

這樣的結果說明著，2x2的對稱矩陣的eigenvalue都只是實數，因為characteristic polynomial都是實根，而沒有虛根。

一般案例來說，會用到實係數多項式虛根共軛的性質，上面範例來看，我們的characteristic polynomial都是實係數多項式，而虛根共軛指的是，假設有一個虛根-$\lambda$，那$\bar{\lambda}$也會是一個eigenvalue。

註：假設，你的characteristic polynomial有一個$\lambda = a + bi$這個解，那它就一定會存在一個$\bar{\lambda} = a - bi$的解。

而在對稱矩陣中，它的$\lambda$就不可能會有虛數的情況出現。
(推論寫在黑板，看不到)

### Orthogonal Eigenvectors

對稱矩陣的另一個特色，先前課程提過，matrix會有多個eigenvalue，每一個eigenvalue會有對應的eigenspace，而不同eigenspace內的vector相互之間會是independent，但如果這個matrix是對稱矩陣的話，那它們不只independent，還會是orthogonal。
### Orthogonal Eigenvectors

推論如下：
* 假設$A$是一個對稱矩陣，且存在兩個eigenvector-$u, v$，分別對應兩個eigenvalue-$\lambda, \mu$，且$\lambda \neq \mu$
* $Au \cdot = \lambda u \cdot v = \lambda(u \cdot v)$
* 另一個角度來看，利用symmetric(對稱)的特性，$A=A^T$，那$Au \cdot v = u \cdot A^T v = u \cdot Av = u \cdot \mu v = \mu(u \cdot v)$

(推論又寫在黑板，看不到，我怎麼會說又?)

上面兩個式子可以看的到，$Au\cdot v = \lambda(u \cdot v) = \mu(u \cdot v)$，而$\lambda \neq \mu$，因此唯一的可能就是$u \cdot v= 0$，對就是$u, v$之間是orthogonal

### Diagonalization

如果矩陣是對稱的，那它就可以寫成$P^TAP = D$，其中$P$是orthogonal matrix，$D$為diagonal matrix：
* 因為$P$是orthogonal matrix，因此$P^TAP = D \rightarrow P^{-1}AP = D$
* $P^{-1}AP = D \rightarrow A = PDP^{-1} \rightarrow A = PDP^T$，這意味著$A$是可以被對角化的

這意味著，如果$A$是一個對稱矩陣，那它一定可以被對角化(並非所有的矩陣都可以被對角化)。
### Diagonalization

這個舉例說明：
* 首先找出matrix-$A$的eigenvalue
* 找出eigenvalue對應的eigenvector，可以發現，找到的eigenvector是orthogonal
* 找出兩個eigenspace的orthogonal basis，對其執行正規化，使用長度為1，因此兩個vector階除$\sqrt{5}$
* 兩個eigenvalue形成$D$，兩個eigenvalue的basis形成$P$

### Example of Diagonalization of Symmertic Matrix

這個假設是一個3x3的對稱矩陣，且只有兩個eigenvalue，這意味著characteristic polynomial有重根的情形，這種情況下如果是一般矩陣，我們會無法確認是否可以對角化，因為你無法確定可以找到三個independent vector來形成$P$，但在對稱矩陣中是沒這個問題的，它保證可以被對角化：
* 找出兩個eigenvalues的eigenspace，值得注意的是，如果單純的利用parameteristic polynomial方法找出來的basis它可能不是orthogonal($\lambda_1$)，這時候就需要再利用Gram-Schmide將它轉為orthogonal
* 將$\lambda_2$的basis做正規化，讓它長度為1
* 得到$D, P$

### Diagonalization

透過範例我們得到要將對稱矩陣對角化的流程，即$A = PDP^T$或$P^TAP=D$：
1. 找出$A$的所有eigenvalue
2. 找出eigenvalue對應的eigenspace
3. 找出每一個eigenspace的orthonormal basis(Gram-Schmide)
4. 將所有的orthonormal basis拼起來就可以得到$P$
### Diagonalization of Symmetric Matrix

當matrix-$A$可以被對角化為$PDP^{-1}$，這意味著我們有一個coordinate system，在這個coordinate system看$A$這個matrix會是一個diagonal matrix。而matrix-$A$是symmetric的情況下，那$P$就會是一個orthonormal basis，這意味著我們找的到一個coordinate system，其basis為orthonormal vector set。這對我們在不同coordinate system下做轉換非常有利。
### Spectral Decomposition

Spectral Decomposition，特徵分解。

Symmetric Matrix-$A = PDP^T$，這給了這個matrix一個特色，那就是可以執行Spectral Decomposition：
* $P = \left[u_1 u_2 \cdots u_n \right]$，且為orthonormal basis
* $D=$diag$\left[\lambda_1 \lambda_2 \cdots \lambda_n \right]$，其中$\lambda$為$A$的eigenvalue
* 帶入$D$，即$A = P\left[\lambda_1e_1 \lambda_2e_2 \cdots \lambda_ne_n \right]P^T$
* 將$P$乘進去，即$A = \left[\lambda_1Pe_1 \lambda_2Pe_2 \cdots \lambda_nPe_n \right]P^T = \left[\lambda_1u_1 \lambda_2u_2 \cdots \lambda_nu_n \right]P^T$
* 帶入$P^T$，即$\left[\lambda_1u_1 \lambda_2u_2 \cdots \lambda_nu_n \right] \begin{bmatrix}u^T_1 \\ u^T_2 \\ \vdots \\ u^T_n \end{bmatrix} = \lambda_1u_1u_1^T + \lambda_2u_2u_2^T + \cdots + \lambda_nu_nu_n^T$
* 假設$u_1u_1^T=P_1$，以此類推，帶入得到$\lambda_1P_1 + \lambda_2P_2 + \cdots + \lambda_nP_n$

我們會發現，$P_n$是一個特別簡單的matrix，其Rank=1。因此，當一個matrix-$A$為symmetric matrix，那它就可以拆解成n個Rank=1的matrix的weighted sum，其中weight為matrix-$A$的eigenvalue。

(推論依然寫在黑板)
假設$u_1$是一個非常簡單的3x1的vector-$\begin{bmatrix}1 \\ 2 \\ 3 \end{bmatrix}$，那$u_1u^T_1=\begin{bmatrix}1,2,3\\2,4,6\\3,6,9\end{bmatrix}$，且這個matrix的Rank必定為1，而且這個matrix也會是symmetric matrix。
### Spectral Decomposition

這邊說明幾個$P$的特性：
* Rank=1
* $P_iP_i = u_iu_i^Tu_iu_i^T = u_iu_i^T = P_i$
* $P_iP_j = u_iu_i^Tu_ju_j^T = 0$
* $P_iu_i = u_iu_i^Tu_i = u_i$
* $P_iu_j = u_iu_i^Tu_j = 0$
### Spectral Decomposition

這邊範例說明，給定一個matrix，真出其spectrum decomposition：
* 找出eigenvalues，因為是symmetric matrix，因此皆為實根
* 找出eigenvalues對應的eigenspace
* 正規化之後得到orthonormal basis，也就是matrix-$B$，其vector為$A$的eigenvectors
* $A = \lambda_1P_1 + \lambda_2P_2$