---
# System prepended metadata

title: 第五章 Orthogonality
tags: [Linear Algebra]

---

# 5-1 The Scalar Product in R$^n$

### 內積
* **內積**： **x$^T$y**，等於 0 時為正交
* **0向量**對任何向量都是正交
* 若一夾角是正交，則該夾角為**90度**

# 

### 長度 (norm of x)
* $\Vert$x$\Vert$ = $\sqrt{x^T x}$

# 

### 夾角的餘弦值
* cos(θ) = $\cfrac{x^T y}{\Vert x \Vert \Vert y \Vert}$

# 

### 向量投影
* 投影公式：proj$_y$ x = $\cfrac{x^T y}{y^T y} y$

# 

### 法線、法向量$N$
* 當法線$N = (a,b,c)^T$ 且 P~0~=(x~0~,y~0~,z~0~)，當P = (x,y,z)
* 若P點在平面上，則以下公式成立
  * $a(x-x_0) + b(y-y_0) + c(z-z_0) = 0$

# 

### 距離 $d$
* 公式： $d = \cfrac{|(P0P)^T N|}{\Vert N\Vert}$

# 

### 畢氏定理
* 若 x$^T$y = 0 (是正交)，則符合畢氏定理(=垂直)
* $\Vert x+y\Vert^2 = \Vert x\Vert^2+\Vert y\Vert^2$

# 

# 5-2 Orthogonal Subspaces

### 正交性質
* Ax = 0 且 x ∈ N(A)
* x 與 A$^T$ 的每列向量正交
* 若 y 是 A$^T$中的任何向量，則 x$^T$y = 0 (x與y正交)
* 若 x$^T$y = 0 對每個 x∈X 及每個 y∈Y，則 X ⊥ Y

# 

### 標準基向量 e1、e2
* e1 和 e2 是標準基向量，並且它們是正交的，因為 𝑒1$^𝑇$𝑒2 = 0

# 

### 正交與垂直
* 正交 不一定等於 垂直
  * 證明：假設地板為 x = (1,1,0)，垂直的牆壁為 y = (0,1,1)
  * x$^T$y = 1 不為正交

# 

# 5-4 Inner Product Spaces Definition

### 內積空間
* 在 R$^n$向量空間中表示為 **x$^T$y**
* 在內積空間裡表示為 **<x, y>**

# 

### 向量的範數
* norm of x = $\Vert$x$\Vert$ = $\sqrt{<x, x>}$ = $\sqrt{a~1~b~1~ + a~2~b~2~ + ⋯ + a~n~b~n~}$

# 

### 正交性質
* 若 u 跟 v 是**正交**，則 **<u, v> = 0**

# 

### 內積計算範例
* 設 x = [1,2,3,4]，y = [5,6,7,8]
* 則 <x, y> = (1⋅5)+(2⋅6)+(3⋅7)+(4⋅8)=70

# 

### 範數的性質
* $||αv||$ = |α| $||v||$
  * 純量是絕對值
  
* <x, x> 自己跟自己做內積，值(實數)必大於等於 0
  * 只有零向量才會等於 0
* <x, y> 等同 <y, x>
  * 交換律
* <αx + βy, z> 等同 α<x, z> + β<y, z>
  * 符合線性

# 

### C[a, b] 空間
![image](https://hackmd.io/_uploads/B1mXco_rR.png)

# 

### 畢氏定理 
* 三角不等式
  * $\Vert$u + v$\Vert$ ≤ $\Vert$u$\Vert$ + $\Vert$v$\Vert$

# 

### Frobenius norm ![image](https://hackmd.io/_uploads/rkkaahdBA.png)
* 對於向量空間 R$^{m×n}$
* 將矩陣中的每個位置做**平方**後**相加**再**開根號**

# 

### 向量投影 (內積) Vector Projection
* proj$_y$ x = $\cfrac{<x,y>}{<y,y>} y$

# 

### Cauchy-Schwarz 不等式
* $||u||$ $||v||$ ≥ |<u, v>| (絕對值

# 

### 向量範數的種類
* 1-norm **絕對值的總和**
  * $||$x$||$~1~ = |x~1~| + |x~2~| + ... + |x~n~|

# 

* 2-norm **(每項的2次方後總和)$^{1/2}$**
  * $||$x$||$~2~ = (|x~1~|$^2$ + |x~2~|$^2$ + ... + |x~n~|$^2$)$^{1/2}$
  * 等同 $\sqrt {<x,x>}$
 
# 

* p-norm **(每項的p次方後總和)$^{1/p}$**
  * $||$x$||$~p~ = (|x~1~|$^p$ + |x~2~|$^p$ + ... + |x~n~|$^p$)$^{1/p}$

# 

* ∞-norm 找**絕對值最大的數字**
  * $||$x$||$~∞~ = max(|x~1~|, |x~2~|, ... ,|x~n~|)
  * 又稱 uniform norm, infinity norm

# 

# 5-5 Orthonormal Sets

* $δ$~ij~ ![image](https://hackmd.io/_uploads/SyD3q2pSR.png =20%x)

    * 當 𝑖 和 𝑗 相等時，𝛿~𝑖𝑗~ 的值是 1
    * 當 𝑖 和 𝑗 不相等時，𝛿~𝑖𝑗~ 的值是 0

### 正交集 Orthorgonal set

* 皆為內積空間中的**非零向量**
* 當中**任兩個不同的**向量都是正交 <v~i~, v~j~> = 0
* 必為線性獨立

證明orthorgonal set線性獨立：
> 若v~1~, v~2~, ..., v~n~ 是orthorgonal set
> 線性獨立判別式：c~1~v~1~ + c~2~v~2~ + c~n~v~n~ = 0
> 乘上v~i~，v$^T$(c~1~v~1~ + c~2~v~2~ + c~n~v~n~) = 0
> 等於c~1~v~1~v~i~ + c~2~v~2~v~i~ + **c~i~v~i~v~i~** + c~n~v~i~v~n~ = 0
> 等於c~1~<v~1~,v~i~> + c~2~<v~2~,v~i~> + **c~i~<v~i~,v~i~>** + c~n<~v~i,~v~n~> =0
> 等於c1 ‧ 0 + c2 ‧ 0 + **c~i~ ‧ $||$v~i~$||$** + cn ‧ 0 = 0
> 因此c~i~ = 0，證線性獨立

# 

### 正交規範集 Orthornormal set

若v~1~, v~2~, ..., v~n~ 是orthorgonal set
將每個**v**轉換成單位向量**u** unit vector
$$
\mathbf{u}_i = \frac{1}{\|\mathbf{v}_i\|} \mathbf{v}_i, \quad \text{for } i = 1, 2, \cdots, n
$$
則u~1~, u~2~, ..., u~n~是orthornormal set

# 

### 正交規範基 Orthornormal basis

條件：
* **正交 <x, y> = 0**
* **長度 $||$x$||$ = 1**

如果 $B = \{ \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k \} 是內積空間 V$ 中的一組正交規範集

* $則  \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k  是線性獨立的。$
* $因此， B  是子空間  S = \text{Span}\{ \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k \}  的基底。$
* $最後， B  是  S  的一組正交規範基。$

# 

### 正交規範基的投影

讓 { 𝑢~1~, 𝑢~2~, ..., 𝑢~𝑛~}成為內積空間 𝑉 的一組正交規範基底。

若 𝑣 是 𝑉 中的一個向量，則 𝑣 可以表示為這組基底向量的線性組合：

$\langle \mathbf{v}, \mathbf{u}_i \rangle = \left\langle \sum_{j=1}^{n} c_j \mathbf{u}_j, \mathbf{u}_i \right\rangle = \sum_{j=1}^{n} c_j \langle \mathbf{u}_j, \mathbf{u}_i \rangle = \sum_{j=1}^{n} c_j \delta_{ij} = c_i$

將v投影在u~i~： [v]~ui~ $=\langle \mathbf{v}, \mathbf{u}_i \rangle = c_i$

# 

### 求出內積

讓 { 𝑢~1~, 𝑢~2~, ..., 𝑢~𝑛~}成為內積空間

若 u = $\sum_{i=1}^{n} a_i u_i$ 且 v = $\sum_{i=1}^{n} b_i u_i$

則<u, v> = $\sum_{i=1}^{n} a_i b_i$ = [1, 1, 1]$^T$ [2, 2, 2]

# 

### 例題4

有$\mathbf{u}_1 = \left( \frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}} \right)^T \quad \text{and} \quad \mathbf{u}_2 = \left( \frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}} \right)^T \quad \text{and} \quad \mathbf{x} = \left( x_1, x_2 \right)^T$

找出c~1~ = xu~1~， c~2~ = xu~2~
驗證$||$x$||$$^2$ = c~1~$^2$ + c~2~$^2$ 是否等於 x~1~$^2$ + x~2~$^2$

# 

### 正交矩陣 Orthogonal Matrix (正交規範矩陣) **Q**

其實是 **正交規範矩陣**

1. 𝑄 的列向量在 𝑅~𝑛~ 中形成一組正交規範集
2. Q$^T$Q = $I$
3. Q$^{-1}$ = Q$^T$
4. 內積保持 $\langle Q\mathbf{x}, Q\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle$
5. 1. 長度保持 $\| Q\mathbf{x} \|^2 = \| \mathbf{x} \|$

>證明：
>* 內積保持 $\langle Q\mathbf{x}, Q\mathbf{y} \rangle = (Q\mathbf{x})^T Q\mathbf{y} = \mathbf{x}^T Q^T Q \mathbf{y} = \mathbf{x}^T \mathbf{y} = \langle \mathbf{x}, \mathbf{y} \rangle$
>* 長度保持 $\| Q\mathbf{x} \|^2 = \| \mathbf{x} \|^2 \Rightarrow \| Q\mathbf{x} \| = \| \mathbf{x} \|$


# 

### 排列矩陣 Permutation Matrix P

重新排列單位矩陣的列而形成的矩陣
類似基本矩陣E

* 正交規範：列向量正交，且範數為1
* P$^{-1}$ = P$^T$

# 

# 5-6 正交化過程 The Gram-Schmidt Orthogonalization Process

用**投影**將普通**基底** {𝑥~1~, 𝑥~2~, … , 𝑥~𝑛~} 轉換為正交基底 {𝑢~1~, 𝑢~2~, … , 𝑢~𝑛~}

條件： (正交規範)
* 長度為 1
* 正交

# 

步驟： x~1~ > u~1~ > p~1~ > u~2~ > p~2~ > u~3~ (最後一項不需要p)
1. 使長度為 1 (除自己的長度)
    $\mathbf{u}_1 = \left( \frac{1}{\|\mathbf{x}_1\|} \right) \mathbf{x}_1$

2. 使 𝑝~1~ 表示 𝑥~2~ 在 Span (𝑢~1~)上的投影
    𝑝~1~= ⟨𝑥~2~, 𝑢~1~⟩ 𝑢~1~
    原型是：proj$_y$ x = $\cfrac{x^T y}{y^T y} y$
    但是u$^T$u = 1

3. $\mathbf{u}_{k+1} = \frac{1}{\| \mathbf{x}_{k+1} - \mathbf{p}_k \|} (\mathbf{x}_{k+1} - \mathbf{p}_k)$

# 

公式：

* $\mathbf{u}_1 = \left( \frac{1}{\|\mathbf{x}_1\|} \right) \mathbf{x}_1$

* $\mathbf{p}_k = \langle \mathbf{x}_{k+1}, \mathbf{u}_1 \rangle \mathbf{u}_1 + \langle \mathbf{x}_{k+1}, \mathbf{u}_2 \rangle \mathbf{u}_2 + \cdots + \langle \mathbf{x}_{k+1}, \mathbf{u}_k \rangle \mathbf{u}_k$

* $\mathbf{u}_{k+1} = \frac{1}{\| \mathbf{x}_{k+1} - \mathbf{p}_k \|} (\mathbf{x}_{k+1} - \mathbf{p}_k)$

# 

舉例：

* $\mathbf{p}_2 = \langle \mathbf{x}_3, \mathbf{u}_1 \rangle \mathbf{u}_1 + \langle \mathbf{x}_3, \mathbf{u}_2 \rangle \mathbf{u}_2$

* $\mathbf{u}_3 = \frac{1}{\| \mathbf{x}_3 - \mathbf{p}_2 \|} (\mathbf{x}_3 - \mathbf{p}_2)$
