李宏毅_Linear Algebra Lecture 32: Orthogonal Matrix

tags: Hung-yi Lee NTU Linear Algebra Lecture

課程撥放清單

Linear Algebra Lecture 32: Orthogonal Matrix

課程連結

Norm-preserving

當一個linear operator是Norm-preserving時，有下面特性：

• 所有的輸入-$u$經過這個operator-$T(u)$，其長度會相等，即$\Vert T(u)\Vert =\Vert u\Vert$
  • 旋轉就是一種Norm-preserving的linear operator
  • 鏡射(refection)也是一種Norm-preserving

以上面兩個例子來看可以發現幾個特性：

• column之間都是orthogonal
• column的長度都是1

Norm-preserving

上面案例說明的是一個projection的linear operator，這並非是一個Norm-preserving的matrix。可以發現到，這個projection的linear operator並沒有剛才所說的兩個特性。

下面的案例說明的是，當linear operator的eigenvalue-$\lambda \ne \pm 1$，那它就不會是Norm-preserving：

• 假設eivenvector-$v$，$\Vert U(v)\Vert =\Vert \lambda v\Vert$，而這又等於$|\lambda |\cdot \Vert v\Vert$，如果$\lambda \pm 1$，那$\lambda$就會改變$v$的長度

Orthogonal Matrix

剛才課程有提到，Norm-preserving的linear operator matrix會有兩個特性：

1. column之間是orthogonal
2. column的長度為1

這種情況下，這個matrix稱為Orthogonal Matrix，值得注意的是，它們的column是orthonormal，而不是orthogonal。

簡報上也給出一個orthogonal matrix的範例。

Norm-preserving

這邊課程會證明Norm-preserving背後的matrix一定是Orthogonal Matrix，反之亦然，這是一個if and onle if(若且唯若)的關係。

Norm-preserving-$Q$一定是Orthognal Matrix：

• 首先檢查每一個column的長度是否為1
  • 課程開始有提過，Norm-preserving的特性就是input長度會等於output長度，而且我們還知道standard vector的特性就是乘上matrix會得到第$j$個column。因此，$\Vert q_j\Vert =\Vert Q{e}_j\Vert$，而standard vector的長度固定是1，且$Q$已知為norm-preserving，因此$\Vert q_j\Vert =1$
• 檢查任意兩個column是否為orthogonal
  • 取任意兩個column的norm平方，即$\Vert q_i+q_j{\Vert }^2$，而這又等於$\Vert q_i{\Vert }^2+\Vert q_j{\Vert }^2$，根據畢式定理，兩者為orthogonal，因為$\Vert q_i+q_j{\Vert }^2=\Vert Q{e}_i+Q{e}_j{\Vert }^2$，再提出$Q$，即$\Vert Q(e_i+e_j){\Vert }^2$，再根據norm-preserving的特性，輸入長度等於輸出長度，即$=\Vert e_i+e_j{\Vert }^2=2=\Vert q_i{\Vert }^2+\Vert q_j{\Vert }^2$

因此我們證明，只要是Norm-preserving，其背後的matrix一定為Orthogonal Matrix。

Orthogonal Matrix

這邊證明，Orthogonal Matrix一定是Norm-preserving：

1. $Q$為orthogonal matrix
2. $Q{Q}^T=I_n$
3. $Q$為invertible，且$Q^{-1}=Q^T$
4. $Q_u\cdot Q_v=u\cdot v$
5. $\Vert Qu\Vert =\Vert u\Vert$

當1成立，那2就成立，3就自然跟著2成立，而2成立就代表4成立，4成立則5成立，而5成立則剛剛已推論1成立。

推論寫在課板。再回頭細聽一次。

Orthogonal Matrix

Orthogonal等價於Norm preserving

Orthogonal Matrix的更多特性：

• $detQ=\pm 1$
  • $Q{Q}^T=I_n$，而$I_n$的$det=1$，也就是$Q{Q}^T=det(Q{Q}^T)$，依$det$的特性，$det(Q{Q}^T)=det(Q)det(Q^T)$，再根據$det$的特性，matrix的$det$會等於matrix transpose的$det$，因此$det(Q)det(Q^T)=det(Q{)}^2$，而$det(Q{)}^2=1$，因此$det(Q)=\pm 1$
• $PQ$也也是Orthogonal Matrix
  • 檢查$(PQ{)}^{-1}$是否等於$(PQ{)}^T$
  • $(PQ{)}^T=Q^T{P}^T=Q^{-1}{P}^{-1}=(PQ{)}^{-1}$
  • $P,Q$各為Norm-preserving，$PQ$意味著先過$Q$再過$P$，兩個linear operation都不會改變長度，因此直觀來看$PQ$也是Norm-preserving
• $Q^{-1}$會是Orthogonal Matrix
  • 檢查$(Q^{-1}{)}^{-1}$是否等於$(Q^{-1}{)}^T$
  • $(Q^{-1}{)}^{-1}$=$Q$，而$(Q^{-1}{)}^T$中，稍早已證明$Q^{-1}=Q^T$，因此$(Q^{-1}{)}^T=Q$，因此$Q=Q$，也因此$Q^{-1}$也是Orthogonal Matrix
  • Orthogonal等價於Norm-preserving，Norm-preserving是一個輸出、入長度不變的操作，而inverse也是一種將輸出轉輸入的操作
• $Q^T$也會是Orthogonal Matrix
  • 同上小節證明，$Q^{-1}=Q^T$
  • 這比較不直覺，假設有一個Matrix-$A=\left[\begin{array}{ccc}{\displaystyle \frac{1}{\sqrt{2}}}& 0& {\displaystyle \frac{1}{\sqrt{2}}}\\ {\displaystyle \frac{1}{\sqrt{2}}}& 0& {\displaystyle \frac{-1}{\sqrt{2}}}\\ 0& 1& 0\end{array}\right]$，每一個column的長度都是1，且彼此之間都是orthogonal，而這個matrix-$A$的transpose也會是orthogoal，意味著這個matrix的row也會是orthogonal

Orthogonal Operator

Orthogonal Operator的背後是Orthogonal Matrix，因此剛剛說的Orthogonal Matrix的特性它都有：

• $T(u)\cdot T(v)=u\cdot v$
• $\Vert T(u)\Vert =\Vert u\Vert$
• 如果$T,U$都是Orthogonal Operator，那$TU$、$T^{-1}$也都是Orthogonal Oeprator

Example: Find an orthogonal operator $T$ on \mathbb{R}^3

給定一個式子，$T\left(\left[\begin{array}{c}1/\sqrt{2}\\ 0\\ 1/\sqrt{2}\end{array}\right]\right)=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$，找出$T$：

• 目前已知$T$是orthogonal operator，因此它存在著Norm-preserving的特性
  • 檢查輸入的vector與輸出，確定長度皆為1，因此確定存在著Norm-preserving的特性
• 首先找出$A^{-1}$，$Av=e_2$，假設$A$就是背後的linear opeartor，調整之後得到$v=A^{-1}{e}_2$，因此$A^{-1}=\left[\begin{array}{ccc}\ast & 1/\sqrt{2}& \ast \\ & 0& \ast \\ & 1/\sqrt{2}& \ast \end{array}\right]$，而依據orthogonal matrix的特性，找出$A^{-1}$就等於找到$A^T$
• 實際上這個題目的解不止一個，只要是存在於$V^{\mathrm{\perp }}$的解都可以使用，重點是兩個column之間必需是orthogonal，得到$A^{-1}=\left[\begin{array}{ccc}1/\sqrt{2}& 1/\sqrt{2}& 0\\ 0& 0& 1\\ -1\sqrt{2}& 1/\sqrt{2}& 0\end{array}\right]$
• $A=(A^{-1}{)}^T$，因為$A^{-1}=A^T$，兩次的transpose就可以轉正。