# 5-1 The Scalar Product in R$^n$ ### 內積 * **內積**： **x$^T$y**，等於 0 時為正交 * **0向量**對任何向量都是正交 * 若一夾角是正交，則該夾角為**90度** # ### 長度 (norm of x) * $\Vert$x$\Vert$ = $\sqrt{x^T x}$ # ### 夾角的餘弦值 * cos(θ) = $\cfrac{x^T y}{\Vert x \Vert \Vert y \Vert}$ # ### 向量投影 * 投影公式：proj$_y$ x = $\cfrac{x^T y}{y^T y} y$ # ### 法線、法向量$N$ * 當法線$N = (a,b,c)^T$ 且 P~0~=(x~0~,y~0~,z~0~)，當P = (x,y,z) * 若P點在平面上，則以下公式成立 * $a(x-x_0) + b(y-y_0) + c(z-z_0) = 0$ # ### 距離 $d$ * 公式： $d = \cfrac{|(P0P)^T N|}{\Vert N\Vert}$ # ### 畢氏定理 * 若 x$^T$y = 0 (是正交)，則符合畢氏定理(=垂直) * $\Vert x+y\Vert^2 = \Vert x\Vert^2+\Vert y\Vert^2$ # # 5-2 Orthogonal Subspaces ### 正交性質 * Ax = 0 且 x ∈ N(A) * x 與 A$^T$ 的每列向量正交 * 若 y 是 A$^T$中的任何向量，則 x$^T$y = 0 (x與y正交) * 若 x$^T$y = 0 對每個 x∈X 及每個 y∈Y，則 X ⊥ Y # ### 標準基向量 e1、e2 * e1 和 e2 是標準基向量，並且它們是正交的，因為 𝑒1$^𝑇$𝑒2 = 0 # ### 正交與垂直 * 正交 不一定等於 垂直 * 證明：假設地板為 x = (1,1,0)，垂直的牆壁為 y = (0,1,1) * x$^T$y = 1 不為正交 # # 5-4 Inner Product Spaces Definition ### 內積空間 * 在 R$^n$向量空間中表示為 **x$^T$y** * 在內積空間裡表示為 **<x, y>** # ### 向量的範數 * norm of x = $\Vert$x$\Vert$ = $\sqrt{<x, x>}$ = $\sqrt{a~1~b~1~ + a~2~b~2~ + ⋯ + a~n~b~n~}$ # ### 正交性質 * 若 u 跟 v 是**正交**，則 **<u, v> = 0** # ### 內積計算範例 * 設 x = [1,2,3,4]，y = [5,6,7,8] * 則 <x, y> = (1⋅5)+(2⋅6)+(3⋅7)+(4⋅8)=70 # ### 範數的性質 * $||αv||$ = |α| $||v||$ * 純量是絕對值 * <x, x> 自己跟自己做內積，值(實數)必大於等於 0 * 只有零向量才會等於 0 * <x, y> 等同 <y, x> * 交換律 * <αx + βy, z> 等同 α<x, z> + β<y, z> * 符合線性 # ### C[a, b] 空間 ![image](https://hackmd.io/_uploads/B1mXco_rR.png) # ### 畢氏定理 * 三角不等式 * $\Vert$u + v$\Vert$ ≤ $\Vert$u$\Vert$ + $\Vert$v$\Vert$ # ### Frobenius norm ![image](https://hackmd.io/_uploads/rkkaahdBA.png) * 對於向量空間 R$^{m×n}$ * 將矩陣中的每個位置做**平方**後**相加**再**開根號** # ### 向量投影 (內積) Vector Projection * proj$_y$ x = $\cfrac{<x,y>}{<y,y>} y$ # ### Cauchy-Schwarz 不等式 * $||u||$ $||v||$ ≥ |<u, v>| (絕對值 # ### 向量範數的種類 * 1-norm **絕對值的總和** * $||$x$||$~1~ = |x~1~| + |x~2~| + ... + |x~n~| # * 2-norm **(每項的2次方後總和)$^{1/2}$** * $||$x$||$~2~ = (|x~1~|$^2$ + |x~2~|$^2$ + ... + |x~n~|$^2$)$^{1/2}$ * 等同 $\sqrt {<x,x>}$ # * p-norm **(每項的p次方後總和)$^{1/p}$** * $||$x$||$~p~ = (|x~1~|$^p$ + |x~2~|$^p$ + ... + |x~n~|$^p$)$^{1/p}$ # * ∞-norm 找**絕對值最大的數字** * $||$x$||$~∞~ = max(|x~1~|, |x~2~|, ... ,|x~n~|) * 又稱 uniform norm, infinity norm # # 5-5 Orthonormal Sets * $δ$~ij~ ![image](https://hackmd.io/_uploads/SyD3q2pSR.png =20%x) * 當 𝑖 和 𝑗 相等時，𝛿~𝑖𝑗~ 的值是 1 * 當 𝑖 和 𝑗 不相等時，𝛿~𝑖𝑗~ 的值是 0 ### 正交集 Orthorgonal set * 皆為內積空間中的**非零向量** * 當中**任兩個不同的**向量都是正交 <v~i~, v~j~> = 0 * 必為線性獨立 證明orthorgonal set線性獨立： > 若v~1~, v~2~, ..., v~n~ 是orthorgonal set > 線性獨立判別式：c~1~v~1~ + c~2~v~2~ + c~n~v~n~ = 0 > 乘上v~i~，v$^T$(c~1~v~1~ + c~2~v~2~ + c~n~v~n~) = 0 > 等於c~1~v~1~v~i~ + c~2~v~2~v~i~ + **c~i~v~i~v~i~** + c~n~v~i~v~n~ = 0 > 等於c~1~<v~1~,v~i~> + c~2~<v~2~,v~i~> + **c~i~<v~i~,v~i~>** + c~n<~v~i,~v~n~> =0 > 等於c1 ‧ 0 + c2 ‧ 0 + **c~i~ ‧ $||$v~i~$||$** + cn ‧ 0 = 0 > 因此c~i~ = 0，證線性獨立 # ### 正交規範集 Orthornormal set 若v~1~, v~2~, ..., v~n~ 是orthorgonal set 將每個**v**轉換成單位向量**u** unit vector $$ \mathbf{u}_i = \frac{1}{\|\mathbf{v}_i\|} \mathbf{v}_i, \quad \text{for } i = 1, 2, \cdots, n $$ 則u~1~, u~2~, ..., u~n~是orthornormal set # ### 正交規範基 Orthornormal basis 條件： * **正交 <x, y> = 0** * **長度 $||$x$||$ = 1** 如果 $B = \{ \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k \} 是內積空間 V$ 中的一組正交規範集 * $則 \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k 是線性獨立的。$ * $因此， B 是子空間 S = \text{Span}\{ \mathbf{u}_1, \mathbf{u}_2, ..., \mathbf{u}_k \} 的基底。$ * $最後， B 是 S 的一組正交規範基。$ # ### 正交規範基的投影 讓 { 𝑢~1~, 𝑢~2~, ..., 𝑢~𝑛~}成為內積空間 𝑉 的一組正交規範基底。 若 𝑣 是 𝑉 中的一個向量，則 𝑣 可以表示為這組基底向量的線性組合： $\langle \mathbf{v}, \mathbf{u}_i \rangle = \left\langle \sum_{j=1}^{n} c_j \mathbf{u}_j, \mathbf{u}_i \right\rangle = \sum_{j=1}^{n} c_j \langle \mathbf{u}_j, \mathbf{u}_i \rangle = \sum_{j=1}^{n} c_j \delta_{ij} = c_i$ 將v投影在u~i~： [v]~ui~ $=\langle \mathbf{v}, \mathbf{u}_i \rangle = c_i$ # ### 求出內積 讓 { 𝑢~1~, 𝑢~2~, ..., 𝑢~𝑛~}成為內積空間 若 u = $\sum_{i=1}^{n} a_i u_i$ 且 v = $\sum_{i=1}^{n} b_i u_i$ 則<u, v> = $\sum_{i=1}^{n} a_i b_i$ = [1, 1, 1]$^T$ [2, 2, 2] # ### 例題4 有$\mathbf{u}_1 = \left( \frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}} \right)^T \quad \text{and} \quad \mathbf{u}_2 = \left( \frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}} \right)^T \quad \text{and} \quad \mathbf{x} = \left( x_1, x_2 \right)^T$ 找出c~1~ = xu~1~， c~2~ = xu~2~ 驗證$||$x$||$$^2$ = c~1~$^2$ + c~2~$^2$ 是否等於 x~1~$^2$ + x~2~$^2$ # ### 正交矩陣 Orthogonal Matrix (正交規範矩陣) **Q** 其實是 **正交規範矩陣** 1. 𝑄 的列向量在 𝑅~𝑛~ 中形成一組正交規範集 2. Q$^T$Q = $I$ 3. Q$^{-1}$ = Q$^T$ 4. 內積保持 $\langle Q\mathbf{x}, Q\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle$ 5. 1. 長度保持 $\| Q\mathbf{x} \|^2 = \| \mathbf{x} \|$ >證明： >* 內積保持 $\langle Q\mathbf{x}, Q\mathbf{y} \rangle = (Q\mathbf{x})^T Q\mathbf{y} = \mathbf{x}^T Q^T Q \mathbf{y} = \mathbf{x}^T \mathbf{y} = \langle \mathbf{x}, \mathbf{y} \rangle$ >* 長度保持 $\| Q\mathbf{x} \|^2 = \| \mathbf{x} \|^2 \Rightarrow \| Q\mathbf{x} \| = \| \mathbf{x} \|$ # ### 排列矩陣 Permutation Matrix P 重新排列單位矩陣的列而形成的矩陣 類似基本矩陣E * 正交規範：列向量正交，且範數為1 * P$^{-1}$ = P$^T$ # # 5-6 正交化過程 The Gram-Schmidt Orthogonalization Process 用**投影**將普通**基底** {𝑥~1~, 𝑥~2~, … , 𝑥~𝑛~} 轉換為正交基底 {𝑢~1~, 𝑢~2~, … , 𝑢~𝑛~} 條件： (正交規範) * 長度為 1 * 正交 # 步驟： x~1~ > u~1~ > p~1~ > u~2~ > p~2~ > u~3~ (最後一項不需要p) 1. 使長度為 1 (除自己的長度) $\mathbf{u}_1 = \left( \frac{1}{\|\mathbf{x}_1\|} \right) \mathbf{x}_1$ 2. 使 𝑝~1~ 表示 𝑥~2~ 在 Span (𝑢~1~)上的投影 𝑝~1~= ⟨𝑥~2~, 𝑢~1~⟩ 𝑢~1~ 原型是：proj$_y$ x = $\cfrac{x^T y}{y^T y} y$ 但是u$^T$u = 1 3. $\mathbf{u}_{k+1} = \frac{1}{\| \mathbf{x}_{k+1} - \mathbf{p}_k \|} (\mathbf{x}_{k+1} - \mathbf{p}_k)$ # 公式： * $\mathbf{u}_1 = \left( \frac{1}{\|\mathbf{x}_1\|} \right) \mathbf{x}_1$ * $\mathbf{p}_k = \langle \mathbf{x}_{k+1}, \mathbf{u}_1 \rangle \mathbf{u}_1 + \langle \mathbf{x}_{k+1}, \mathbf{u}_2 \rangle \mathbf{u}_2 + \cdots + \langle \mathbf{x}_{k+1}, \mathbf{u}_k \rangle \mathbf{u}_k$ * $\mathbf{u}_{k+1} = \frac{1}{\| \mathbf{x}_{k+1} - \mathbf{p}_k \|} (\mathbf{x}_{k+1} - \mathbf{p}_k)$ # 舉例： * $\mathbf{p}_2 = \langle \mathbf{x}_3, \mathbf{u}_1 \rangle \mathbf{u}_1 + \langle \mathbf{x}_3, \mathbf{u}_2 \rangle \mathbf{u}_2$ * $\mathbf{u}_3 = \frac{1}{\| \mathbf{x}_3 - \mathbf{p}_2 \|} (\mathbf{x}_3 - \mathbf{p}_2)$