李宏毅_Linear Algebra Lecture 32: Orthogonal Matrix

tags: Hung-yi Lee NTU Linear Algebra Lecture

課程撥放清單

Linear Algebra Lecture 32: Orthogonal Matrix

課程連結

Norm-preserving

當一個linear operator是Norm-preserving時，有下面特性：

• 所有的輸入-
  $u$經過這個operator-
  $T(u)$，其長度會相等，即
  $\Vert T(u)\Vert =\Vert u\Vert$
  • 旋轉就是一種Norm-preserving的linear operator
  • 鏡射(refection)也是一種Norm-preserving

以上面兩個例子來看可以發現幾個特性：

• column之間都是orthogonal
• column的長度都是1

Norm-preserving

上面案例說明的是一個projection的linear operator，這並非是一個Norm-preserving的matrix。可以發現到，這個projection的linear operator並沒有剛才所說的兩個特性。

下面的案例說明的是，當linear operator的eigenvalue-

$\lambda \ne \pm 1$，那它就不會是Norm-preserving：

• 假設eivenvector-
  $v$，
  $\Vert U(v)\Vert =\Vert \lambda v\Vert$，而這又等於
  $|\lambda |\cdot \Vert v\Vert$，如果
  $\lambda \pm 1$，那
  $\lambda$就會改變
  $v$的長度

Orthogonal Matrix

剛才課程有提到，Norm-preserving的linear operator matrix會有兩個特性：

1. column之間是orthogonal
2. column的長度為1

這種情況下，這個matrix稱為Orthogonal Matrix，值得注意的是，它們的column是orthonormal，而不是orthogonal。

簡報上也給出一個orthogonal matrix的範例。

Norm-preserving

這邊課程會證明Norm-preserving背後的matrix一定是Orthogonal Matrix，反之亦然，這是一個if and onle if(若且唯若)的關係。

Norm-preserving-

$Q$一定是Orthognal Matrix：

• 首先檢查每一個column的長度是否為1
  • 課程開始有提過，Norm-preserving的特性就是input長度會等於output長度，而且我們還知道standard vector的特性就是乘上matrix會得到第
    $j$個column。因此，
    $\Vert q_j\Vert =\Vert Q{e}_j\Vert$，而standard vector的長度固定是1，且
    $Q$已知為norm-preserving，因此
    $\Vert q_j\Vert =1$
• 檢查任意兩個column是否為orthogonal
  • 取任意兩個column的norm平方，即
    $\Vert q_i+q_j{\Vert }^2$，而這又等於
    $\Vert q_i{\Vert }^2+\Vert q_j{\Vert }^2$，根據畢式定理，兩者為orthogonal，因為
    $\Vert q_i+q_j{\Vert }^2=\Vert Q{e}_i+Q{e}_j{\Vert }^2$，再提出
    $Q$，即
    $\Vert Q(e_i+e_j){\Vert }^2$，再根據norm-preserving的特性，輸入長度等於輸出長度，即
    $=\Vert e_i+e_j{\Vert }^2=2=\Vert q_i{\Vert }^2+\Vert q_j{\Vert }^2$

因此我們證明，只要是Norm-preserving，其背後的matrix一定為Orthogonal Matrix。

Orthogonal Matrix

這邊證明，Orthogonal Matrix一定是Norm-preserving：

1. $Q$為orthogonal matrix
2. $Q{Q}^T=I_n$
3. $Q$為invertible，且
   $Q^{-1}=Q^T$
4. $Q_u\cdot Q_v=u\cdot v$
5. $\Vert Qu\Vert =\Vert u\Vert$

當1成立，那2就成立，3就自然跟著2成立，而2成立就代表4成立，4成立則5成立，而5成立則剛剛已推論1成立。

推論寫在課板。再回頭細聽一次。

Orthogonal Matrix

Orthogonal等價於Norm preserving

Orthogonal Matrix的更多特性：

• $detQ=\pm 1$
  • $Q{Q}^T=I_n$，而
    $I_n$的
    $det=1$，也就是
    $Q{Q}^T=det(Q{Q}^T)$，依
    $det$的特性，
    $det(Q{Q}^T)=det(Q)det(Q^T)$，再根據
    $det$的特性，matrix的
    $det$會等於matrix transpose的
    $det$，因此
    $det(Q)det(Q^T)=det(Q{)}^2$，而
    $det(Q{)}^2=1$，因此
    $det(Q)=\pm 1$
• $PQ$也也是Orthogonal Matrix
  • 檢查
    $(PQ{)}^{-1}$是否等於
    $(PQ{)}^T$
  • $(PQ{)}^T=Q^T{P}^T=Q^{-1}{P}^{-1}=(PQ{)}^{-1}$
  • $P,Q$各為Norm-preserving，
    $PQ$意味著先過
    $Q$再過
    $P$，兩個linear operation都不會改變長度，因此直觀來看
    $PQ$也是Norm-preserving
• $Q^{-1}$會是Orthogonal Matrix
  • 檢查
    $(Q^{-1}{)}^{-1}$是否等於
    $(Q^{-1}{)}^T$
  • $(Q^{-1}{)}^{-1}$=
    $Q$，而
    $(Q^{-1}{)}^T$中，稍早已證明
    $Q^{-1}=Q^T$，因此
    $(Q^{-1}{)}^T=Q$，因此
    $Q=Q$，也因此
    $Q^{-1}$也是Orthogonal Matrix
  • Orthogonal等價於Norm-preserving，Norm-preserving是一個輸出、入長度不變的操作，而inverse也是一種將輸出轉輸入的操作
• $Q^T$也會是Orthogonal Matrix
  • 同上小節證明，
    $Q^{-1}=Q^T$
  • 這比較不直覺，假設有一個Matrix-
    $A=\left[\begin{array}{ccc}{\displaystyle \frac{1}{\sqrt{2}}}& 0& {\displaystyle \frac{1}{\sqrt{2}}}\\ {\displaystyle \frac{1}{\sqrt{2}}}& 0& {\displaystyle \frac{-1}{\sqrt{2}}}\\ 0& 1& 0\end{array}\right]$，每一個column的長度都是1，且彼此之間都是orthogonal，而這個matrix-
    $A$的transpose也會是orthogoal，意味著這個matrix的row也會是orthogonal

Orthogonal Operator

Orthogonal Operator的背後是Orthogonal Matrix，因此剛剛說的Orthogonal Matrix的特性它都有：

• $T(u)\cdot T(v)=u\cdot v$
• $\Vert T(u)\Vert =\Vert u\Vert$
• 如果
  $T,U$都是Orthogonal Operator，那
  $TU$、
  $T^{-1}$也都是Orthogonal Oeprator

Example: Find an orthogonal operator

$T$ on \mathbb{R}^3

給定一個式子，

$T\left(\left[\begin{array}{c}1/\sqrt{2}\\ 0\\ 1/\sqrt{2}\end{array}\right]\right)=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]$，找出

$T$：

• 目前已知
  $T$是orthogonal operator，因此它存在著Norm-preserving的特性
  • 檢查輸入的vector與輸出，確定長度皆為1，因此確定存在著Norm-preserving的特性
• 首先找出
  $A^{-1}$，
  $Av=e_2$，假設
  $A$就是背後的linear opeartor，調整之後得到
  $v=A^{-1}{e}_2$，因此
  $A^{-1}=\left[\begin{array}{ccc}\ast & 1/\sqrt{2}& \ast \\ & 0& \ast \\ & 1/\sqrt{2}& \ast \end{array}\right]$，而依據orthogonal matrix的特性，找出
  $A^{-1}$就等於找到
  $A^T$
• 實際上這個題目的解不止一個，只要是存在於
  $V^{\mathrm{\perp }}$的解都可以使用，重點是兩個column之間必需是orthogonal，得到
  $A^{-1}=\left[\begin{array}{ccc}1/\sqrt{2}& 1/\sqrt{2}& 0\\ 0& 0& 1\\ -1\sqrt{2}& 1/\sqrt{2}& 0\end{array}\right]$
• $A=(A^{-1}{)}^T$，因為
  $A^{-1}=A^T$，兩次的transpose就可以轉正。