# 李宏毅_Linear Algebra Lecture 32: Orthogonal Matrix
###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture`
[課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW)
## Linear Algebra Lecture 32: Orthogonal Matrix
[課程連結](https://www.youtube.com/watch?v=TmDYxL7HV68&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=33)

### Norm-preserving

當一個linear operator是Norm-preserving時，有下面特性：
* 所有的輸入-$u$經過這個operator-$T(u)$，其長度會相等，即$\Vert T(u) \Vert = \Vert u \Vert$
* 旋轉就是一種Norm-preserving的linear operator
* 鏡射(refection)也是一種Norm-preserving

以上面兩個例子來看可以發現幾個特性：
* column之間都是orthogonal
* column的長度都是1
### Norm-preserving

上面案例說明的是一個projection的linear operator，這並非是一個Norm-preserving的matrix。可以發現到，這個projection的linear operator並沒有剛才所說的兩個特性。

下面的案例說明的是，當linear operator的eigenvalue-$\lambda \neq \pm 1$，那它就不會是Norm-preserving：
* 假設eivenvector-$v$，$\Vert U(v) \Vert = \Vert \lambda v \Vert$，而這又等於$\vert \lambda \vert \cdot \Vert v \Vert$，如果$\lambda \pm 1$，那$\lambda$就會改變$v$的長度
### Orthogonal Matrix

剛才課程有提到，Norm-preserving的linear operator matrix會有兩個特性：
1. column之間是orthogonal
2. column的長度為1

這種情況下，這個matrix稱為Orthogonal Matrix，值得注意的是，它們的column是orthonormal，而不是orthogonal。

簡報上也給出一個orthogonal matrix的範例。
### Norm-preserving

這邊課程會證明Norm-preserving背後的matrix一定是Orthogonal Matrix，反之亦然，這是一個if and onle if(若且唯若)的關係。

Norm-preserving-$Q$一定是Orthognal Matrix：
* 首先檢查每一個column的長度是否為1
* 課程開始有提過，Norm-preserving的特性就是input長度會等於output長度，而且我們還知道standard vector的特性就是乘上matrix會得到第$j$個column。因此，$\Vert q_j \Vert = \Vert Qe_j \Vert$，而standard vector的長度固定是1，且$Q$已知為norm-preserving，因此$\Vert q_j \Vert = 1$
* 檢查任意兩個column是否為orthogonal
* 取任意兩個column的norm平方，即$\Vert q_i + q_j \Vert^2$，而這又等於$\Vert q_i \Vert^2 + \Vert q_j \Vert^2$，根據畢式定理，兩者為orthogonal，因為$\Vert q_i + q_j \Vert^2 = \Vert Qe_i + Qe_j \Vert^2$，再提出$Q$，即$\Vert Q(e_i + e_j) \Vert^2$，再根據norm-preserving的特性，輸入長度等於輸出長度，即$=\Vert e_i + e_j \Vert^2 = 2 = \Vert q_i \Vert^2 + \Vert q_j \Vert^2$

因此我們證明，只要是Norm-preserving，其背後的matrix一定為Orthogonal Matrix。
### Orthogonal Matrix

這邊證明，Orthogonal Matrix一定是Norm-preserving：
1. $Q$為orthogonal matrix
2. $QQ^T=I_n$
3. $Q$為invertible，且$Q^{-1}=Q^T$
4. $Q_u \cdot Q_v = u \cdot v$
5. $\Vert Qu \Vert = \Vert u \Vert$

當1成立，那2就成立，3就自然跟著2成立，而2成立就代表4成立，4成立則5成立，而5成立則剛剛已推論1成立。

推論寫在課板。再回頭細聽一次。

### Orthogonal Matrix

Orthogonal等價於Norm preserving

Orthogonal Matrix的更多特性：
* $detQ = \pm 1$
* $QQ^T=I_n$，而$I_n$的$det=1$，也就是$QQ^T=det(QQ^T)$，依$det$的特性，$det(QQ^T)=det(Q)det(Q^T)$，再根據$det$的特性，matrix的$det$會等於matrix transpose的$det$，因此$det(Q)det(Q^T)=det(Q)^2$，而$det(Q)^2=1$，因此$det(Q)=\pm 1$
* $PQ$也也是Orthogonal Matrix
* 檢查$(PQ)^{-1}$是否等於$(PQ)^T$
* $(PQ)^T=Q^TP^T=Q^{-1}P^{-1}=(PQ)^{-1}$
* $P,Q$各為Norm-preserving，$PQ$意味著先過$Q$再過$P$，兩個linear operation都不會改變長度，因此直觀來看$PQ$也是Norm-preserving
* $Q^{-1}$會是Orthogonal Matrix
* 檢查$(Q^{-1})^{-1}$是否等於$(Q^{-1})^T$
* $(Q^{-1})^{-1}$=$Q$，而$(Q^{-1})^T$中，稍早已證明$Q^{-1}=Q^T$，因此$(Q^{-1})^T=Q$，因此$Q=Q$，也因此$Q^{-1}$也是Orthogonal Matrix
* Orthogonal等價於Norm-preserving，Norm-preserving是一個輸出、入長度不變的操作，而inverse也是一種將輸出轉輸入的操作
* $Q^T$也會是Orthogonal Matrix
* 同上小節證明，$Q^{-1}=Q^T$
* 這比較不直覺，假設有一個Matrix-$A=\begin{bmatrix} \dfrac{1}{\sqrt{2}}&0&\dfrac{1}{\sqrt{2}}\\ \dfrac{1}{\sqrt{2}}&0&\dfrac{-1}{\sqrt{2}}\\0&1&0 \end{bmatrix}$，每一個column的長度都是1，且彼此之間都是orthogonal，而這個matrix-$A$的transpose也會是orthogoal，意味著這個matrix的row也會是orthogonal

### Orthogonal Operator

Orthogonal Operator的背後是Orthogonal Matrix，因此剛剛說的Orthogonal Matrix的特性它都有：
* $T(u) \cdot T(v) = u \cdot v$
* $\Vert T(u) \Vert = \Vert u \Vert$
* 如果$T, U$都是Orthogonal Operator，那$TU$、$T^{-1}$也都是Orthogonal Oeprator
### Example: Find an orthogonal operator $T$ on \mathbb{R}^3

給定一個式子，$T\left(\begin{bmatrix}1/\sqrt{2}\\0\\1/\sqrt{2} \end{bmatrix}\right)=\begin{bmatrix}0\\1\\0\end{bmatrix}$，找出$T$：
* 目前已知$T$是orthogonal operator，因此它存在著Norm-preserving的特性
* 檢查輸入的vector與輸出，確定長度皆為1，因此確定存在著Norm-preserving的特性
* 首先找出$A^{-1}$，$Av=e_2$，假設$A$就是背後的linear opeartor，調整之後得到$v = A^{-1}e_2$，因此$A^{-1}=\begin{bmatrix}*&1/\sqrt{2}&*\\*&0&*\\*&1/\sqrt{2}&*\end{bmatrix}$，而依據orthogonal matrix的特性，找出$A^{-1}$就等於找到$A^T$
* 實際上這個題目的解不止一個，只要是存在於$V^\bot$的解都可以使用，重點是兩個column之間必需是orthogonal，得到$A^{-1}=\begin{bmatrix}1/\sqrt{2}&1/\sqrt{2}&0\\0&0&1\\-1\sqrt{2}&1/\sqrt{2}&0\end{bmatrix}$
* $A = (A^{-1})^T$，因為$A^{-1}=A^T$，兩次的transpose就可以轉正。