# 李宏毅_Linear Algebra Lecture 31: Orthogonal Basis
###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture`
[課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW)
## Linear Algebra Lecture 31: Orthogonal Basis
[課程連結](https://www.youtube.com/watch?v=98-0Q1ed3sM&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=31)

### Orthogonal Set

所謂的Orthogonal Set意指兩兩vector拿出來都是Orthogonal。值得注意的是，Orthogonal Set並不一定是independent。

### independent?

在一個情況下它會是linear independent，也就是Orthogonal Set裡面沒有nonzero的vector，那它就是linear independent。

證明如下：
* 假設有一個orthogonal set-$S = \left\{v_1, v_2, \cdots, v_k \right\}$，並且$v_i \neq 0$
* 驗證是否為independent，$c_1v_1 + c_2v_2 + \cdots c_kv_k = 0$
* $(c_1v_1 + c_2v_2 + \cdots c_kv_k)\cdot v_i$，因為orthogonal的特性，因此兩兩相乘都會是0，只有自己乘自己的時候不會是0，也就是會剩下$c_i(v_i \cdot v_i) = c_i \Vert v_i \Vert^2 = 0$，而我們在一開始已經假設$v_i \neq 0$，因此$c_i = 0$
* 以此類推，$c_1, c_2, \cdots, c_k = 0$
* 得證
### Orthonormal Set

Orthonormal Set：
* Orthogonal Set裡面的vector的長度皆為1的時候，即為Orthonormal Set
* 將Orthogonal Set裡面的vector正規化，讓它們的長度變成1，那就會是Orthonormal Set
* 因為它的長度都是1，意味著它沒有zero vector，也因此它一定是independent
* 長度為1的vector又稱為unit vector
### Orthonormal Basis

Orthonormal的vector就是Orthonormal的basis，以$R^3$為例，它既為Orthogonal basis，也是Orthonormal basis。
### Orthogonal Basis

如果一個vector set的basis是orthogonal或orthonormal，那將一個vector利用這個basis轉至另一個coordinate system的話是比較方便的：
* 假設有一個vector set0-$S = \left\{v_1, v_2, \cdots, v_k \right\}$，且$S$為$W$的subspace，我們要將vector-$u$以$S$這個coordinate system來表示，即計算$\left[u \right]_S$
* $u = c_1v_1 + c_2v_2 + \cdots + c_kv_k$
* 其中$c_i = \dfrac{u \cdot v_i}{\Vert v_i \Vert^2}$
* 如果是orthonormal basis那分母的項目都會是1，因此$c_i = u \cdot v_i$

下面證明$c_i$：
* $u \cdot v_i = (c_1v_1 + c_2v_2 + \cdots + c_kv_k) \cdot v_i$
* 我們知道，$S$是一個orthogonal basis，根據課程中的推論，各項目皆為0，僅$c_i(v_i \cdot v_i)$有結果，因此$u \cdot v_i = c_i \Vert v_i \Vert^2$
* 移動數學式之後得證

### Example

上面的範例直接帶入公式即可得解。
### Orthogonal Projection

原本在處理Orthogonal Projection需要記下一個丁丁公式，但如果你的basis是一個orthogonal basis的話，那處理起來會方便很多，基本上與剛才課程所提到的轉至另一個coordinate system是一樣的公式。
### Orthogonal Projection
- [ ] 補圖 25.14 還要補推論的部份

我們已經知道，Orthogonal Projection的式子，即$P_W = C(C^TC)^{-1}C^T$，其中$C$是$W$的basis，要瞭解如果$C$是orthogonal basis，那對整個式子的影響為何：
* 因為$C$是orthogonal basis，因此$C^TC$就會是一個diagonal matrix，因為非對線角的值都會因為orthogonal的特性為0，而對角線的值都會是$\Vert v_i \Vert^2$，以$D$來表示，因此$P_W = CD^{-1}C^T$
* $D^{-1}$，這種diagonal matrix的inverse，就只需要取對角線值的倒數即可，也就是$\dfrac{1}{\Vert v_i \Vert^2}$，仍然會是一個diagonal matrix
* 要投影的結果，$w = CD^{-1}C^Tu$
* 先看$C^Tu$，其中$C^T$是一個kxn的matrix，而$u$為nx1的vector，dot product之後為kx1的vector，也就是$v_1^T \cdot u, v_2^T \cdot u, \cdots, v_k^T \cdot u$
* 再來計算結果再乘上$D^{-1}$(kxk)，得到的結果也會是一個vector(kx1)，也就是$\dfrac{v_1^T \cdot u}{\Vert v_1 \Vert^2}, \dfrac{v_2^T \cdot u}{\Vert v_2 \Vert^2}, \cdots, \dfrac{v_k^T \cdot u}{\Vert v_k \Vert^2}$
* 最後乘上$C$(nxk)，

推論的部份再回頭補

### Orthogonal Basis

這邊說明如何找出Orthogonal Basis。

對subspace-V而言，我們已經有其basis-$\left\{u_1, u_2, \cdots, u_k \right\}$，這樣子的情況下我們就可以將這個basis轉成orthogonal basis-$\left\{v_1, v_2, \cdots, v_k \right\}$：
1. 讓$v_1=u_1$
2. $v_2 = u_2 - \dfrac{u_2 \cdot v_1}{\Vert v_1 \Vert^2}v_1$，這邊做的就是，將$u_2$對$v_1$做orthogonal projection，再減掉project的部份，因此後面的項目就是做orthogonal projection的結果，減掉之後所得的就是$v_2$
3. $v_3$也是一樣的道理，我們可以看成有一個subspace，其basis就是$v_1, v_2$，而且是orthogonal，我們將$u_3$對這個basis形成的平面做orthogonal projection，剩下在perp-$\bot$的部份就是$v_3$

整個過程就是不斷的執行orthogonal projection，然後取出落於perp的部份，就可以找出一個orthogonal basis，而這整個過程又稱為Gram-Schmidt Process。