Try   HackMD

李宏毅_Linear Algebra Lecture 32: Orthogonal Matrix

tags: Hung-yi Lee NTU Linear Algebra Lecture

課程撥放清單

Linear Algebra Lecture 32: Orthogonal Matrix

課程連結

Norm-preserving

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

當一個linear operator是Norm-preserving時,有下面特性:

  • 所有的輸入-
    u
    經過這個operator-
    T(u)
    ,其長度會相等,即
    T(u)=u
    • 旋轉就是一種Norm-preserving的linear operator
    • 鏡射(refection)也是一種Norm-preserving

以上面兩個例子來看可以發現幾個特性:

  • column之間都是orthogonal
  • column的長度都是1

Norm-preserving

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

上面案例說明的是一個projection的linear operator,這並非是一個Norm-preserving的matrix。可以發現到,這個projection的linear operator並沒有剛才所說的兩個特性。

下面的案例說明的是,當linear operator的eigenvalue-

λ±1,那它就不會是Norm-preserving:

  • 假設eivenvector-
    v
    U(v)=λv
    ,而這又等於
    |λ|v
    ,如果
    λ±1
    ,那
    λ
    就會改變
    v
    的長度

Orthogonal Matrix

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

剛才課程有提到,Norm-preserving的linear operator matrix會有兩個特性:

  1. column之間是orthogonal
  2. column的長度為1

這種情況下,這個matrix稱為Orthogonal Matrix,值得注意的是,它們的column是orthonormal,而不是orthogonal。

簡報上也給出一個orthogonal matrix的範例。

Norm-preserving

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

這邊課程會證明Norm-preserving背後的matrix一定是Orthogonal Matrix,反之亦然,這是一個if and onle if(若且唯若)的關係。

Norm-preserving-

Q一定是Orthognal Matrix:

  • 首先檢查每一個column的長度是否為1
    • 課程開始有提過,Norm-preserving的特性就是input長度會等於output長度,而且我們還知道standard vector的特性就是乘上matrix會得到第
      j
      個column。因此,
      qj=Qej
      ,而standard vector的長度固定是1,且
      Q
      已知為norm-preserving,因此
      qj=1
  • 檢查任意兩個column是否為orthogonal
    • 取任意兩個column的norm平方,即
      qi+qj2
      ,而這又等於
      qi2+qj2
      ,根據畢式定理,兩者為orthogonal,因為
      qi+qj2=Qei+Qej2
      ,再提出
      Q
      ,即
      Q(ei+ej)2
      ,再根據norm-preserving的特性,輸入長度等於輸出長度,即
      =ei+ej2=2=qi2+qj2

因此我們證明,只要是Norm-preserving,其背後的matrix一定為Orthogonal Matrix。

Orthogonal Matrix

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

這邊證明,Orthogonal Matrix一定是Norm-preserving:

  1. Q
    為orthogonal matrix
  2. QQT=In
  3. Q
    為invertible,且
    Q1=QT
  4. QuQv=uv
  5. Qu=u

當1成立,那2就成立,3就自然跟著2成立,而2成立就代表4成立,4成立則5成立,而5成立則剛剛已推論1成立。

推論寫在課板。再回頭細聽一次。

Orthogonal Matrix

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

Orthogonal等價於Norm preserving

Orthogonal Matrix的更多特性:

  • detQ=±1
    • QQT=In
      ,而
      In
      det=1
      ,也就是
      QQT=det(QQT)
      ,依
      det
      的特性,
      det(QQT)=det(Q)det(QT)
      ,再根據
      det
      的特性,matrix的
      det
      會等於matrix transpose的
      det
      ,因此
      det(Q)det(QT)=det(Q)2
      ,而
      det(Q)2=1
      ,因此
      det(Q)=±1
  • PQ
    也也是Orthogonal Matrix
    • 檢查
      (PQ)1
      是否等於
      (PQ)T
    • (PQ)T=QTPT=Q1P1=(PQ)1
    • P,Q
      各為Norm-preserving,
      PQ
      意味著先過
      Q
      再過
      P
      ,兩個linear operation都不會改變長度,因此直觀來看
      PQ
      也是Norm-preserving
  • Q1
    會是Orthogonal Matrix
    • 檢查
      (Q1)1
      是否等於
      (Q1)T
    • (Q1)1
      =
      Q
      ,而
      (Q1)T
      中,稍早已證明
      Q1=QT
      ,因此
      (Q1)T=Q
      ,因此
      Q=Q
      ,也因此
      Q1
      也是Orthogonal Matrix
    • Orthogonal等價於Norm-preserving,Norm-preserving是一個輸出、入長度不變的操作,而inverse也是一種將輸出轉輸入的操作
  • QT
    也會是Orthogonal Matrix
    • 同上小節證明,
      Q1=QT
    • 這比較不直覺,假設有一個Matrix-
      A=[1201212012010]
      ,每一個column的長度都是1,且彼此之間都是orthogonal,而這個matrix-
      A
      的transpose也會是orthogoal,意味著這個matrix的row也會是orthogonal

Orthogonal Operator

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

Orthogonal Operator的背後是Orthogonal Matrix,因此剛剛說的Orthogonal Matrix的特性它都有:

  • T(u)T(v)=uv
  • T(u)=u
  • 如果
    T,U
    都是Orthogonal Operator,那
    TU
    T1
    也都是Orthogonal Oeprator

Example: Find an orthogonal operator
T
on \mathbb{R}^3

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

給定一個式子,

T([1/201/2])=[010],找出
T

  • 目前已知
    T
    是orthogonal operator,因此它存在著Norm-preserving的特性
    • 檢查輸入的vector與輸出,確定長度皆為1,因此確定存在著Norm-preserving的特性
  • 首先找出
    A1
    Av=e2
    ,假設
    A
    就是背後的linear opeartor,調整之後得到
    v=A1e2
    ,因此
    A1=[1/201/2]
    ,而依據orthogonal matrix的特性,找出
    A1
    就等於找到
    AT
  • 實際上這個題目的解不止一個,只要是存在於
    V
    的解都可以使用,重點是兩個column之間必需是orthogonal,得到
    A1=[1/21/20001121/20]
  • A=(A1)T
    ,因為
    A1=AT
    ,兩次的transpose就可以轉正。