Definition

---

Theorem

原本

$S$ 只是一個

$V$ 中的 orthonormal set（即

$S$ 中所有向量相互垂直，且長度皆

$=1$）

orthonormal 保證垂直，並且防止

$\overrightarrow{0}$ 出現在

$S$ 裡面（因為

$\overrightarrow{0}$ 長度

$\ne 1$）因此即保證了線性獨立，所以

$S$ 才能擴充成

$V$ 的 basis

$(a)$ 在說的：我們可以加一些向量，把

$S$ 擴充成

$V$ 的 basis

$(b)$ 在說的是：如果我們令

$W=span(S)$ ，我們在

$(a)$ 擴充

$S$ 成

$V$ 的 basis 時加的那些向量，就是

$W$ 的正交補集的 basis

---

易錯觀念

• 如果只是 subset 非 subspace，取兩次

  $\perp$ 不一定會相等（可能會變大）
  
  $\to \perp$ 不可消

• 是 subspace 且為有限維向量空間 兩個

  $\perp$ 才可消

• 兩個 subspace 可能互相 orthogonal ，卻不互為彼此的正交補空間

理由：他們的維度可能太小

例子：

$R^3$ 中，令 subspace

$V=span\{(0,1,0)\}$ ,

$W=span\{(0,0,1)\}$

$V$ 和

$W$ 垂直（因為他們的基底向量內積 =

$0$）
但是

$V\ne W^{\perp }$，

$W\ne V^{\perp }$

$W^{\perp }$ 應為一個二維平面，

$V$ 只是

$W^{\perp }$ 的其中一部分

但如果加上保證

$dim(V)+dim(W)=$ 所在空間的維度，則

$V=W^{\perp }$ 且

$W=V^{\perp }$ 且

$(V^{\perp }{)}^{\perp }=V$

---

如果把

$R^n$ 拆成兩個正交補空間

$V$ 和

$W$，就會把

$R^n$ 中每個

$\overrightarrow{x}$ 拆成

$\overrightarrow{v}+\overrightarrow{w}$
其中：

$\overrightarrow{v}=Pro{j}_V\overrightarrow{x}$

$\overrightarrow{w}=Pro{j}_W\overrightarrow{x}$

$FundamentalTheoremoforthoganality$

$N(A)=RS(A{)}^{\perp }(in{R}^n)$

$N(A^T)=CS(A{)}^{\perp }(in{R}^m)$

因為上面的這個 Theorem，由

$N(A)=RS(A{)}^{\perp }$ 我們可以在圖中看到，所有

$R^n$ 中的向量都可以拆成兩個部分：

$\overrightarrow{x_r}=Pro{j}_{RS(A)}\overrightarrow{x}$

$\overrightarrow{x_n}=Pro{j}_{N(A)}\overrightarrow{x}$

意思就是：所有的向量

$\overrightarrow{x}$ 都能拆成一個列空間的向量和一個 kernel 中的向量的和

$\to \overrightarrow{x}=\overrightarrow{x_n}+\overrightarrow{x_r}$

如果我們將這個等式左右同乘

$A$，會得到：

$A\overrightarrow{x}=A\overrightarrow{x_n}+A\overrightarrow{x_r}$

$\because \overrightarrow{x_n}\in N(A)$

$\therefore A\overrightarrow{x_n}=\overrightarrow{0}$

$\to$

$A\overrightarrow{x}=A\overrightarrow{x_r}$

這個式子在告訴我們的是：
列空間到行空間的轉換，

$A$ 實際上是可逆的，也就是說，所有在行空間裡的

$\overrightarrow{b}$，其實都是從列空間裡的

$\overrightarrow{x_r}$ 來的，而且

$\overrightarrow{x_r}$ 唯一

所有的矩陣都會把

$RS(A)$ 轉換成

$CS(A)$

$A:CS(A^T)\to CS(A)$

$A^T:CS(A)\to CS(A^T)$

所以當

$A$ 可逆時（即

$rankr=m=n$）

$\to$ 我們可以利用

$(A{)}^{-1}$ 將

$CS(A)\to CS(A^T)$

但如果

$A$ 不可逆

$\to$ 我們可以用 pseudoinverse

$A^{+}$

$A^{+}A\overrightarrow{x}=\overrightarrow{x}\in RS(A)$

---

Reference

• Linear Algebra and Its Applications, 4/e (Gilbert Strang)
• Linear Algebra, 4/e (Stephen H. Friedberg, Arnold J. Insel etc.)