### Definition


---
### Theorem


> 原本 $S$ 只是一個 $V$ 中的 orthonormal set（即 $S$ 中所有向量相互垂直，且長度皆 $= \ 1$）
>> orthonormal 保證垂直，並且防止 $\vec 0$ 出現在 $S$ 裡面（因為 $\vec 0$ 長度 $\not= 1$）因此即保證了線性獨立，所以 $S$ 才能擴充成 $V$ 的 basis
>
> $(a)$ 在說的：我們可以加一些向量，把 $S$ 擴充成 $V$ 的 basis
> $(b)$ 在說的是：如果我們令 $W \ = span(S)$ ，我們在 $(a)$ 擴充 $S$ 成 $V$ 的 basis 時加的那些向量，就是 $W$ 的正交補集的 basis

---
### 易錯觀念


- 如果只是 **subset** 非 **subspace**，取兩次 $\perp$ 不一定會相等（可能會變大）
$\rightarrow \ \perp$ 不可消
- <font color = "red">是 **subspace** 且為**有限維**向量空間</font> 兩個 $\perp$ 才可消

- 兩個 subspace 可能互相 orthogonal ，卻不互為彼此的正交補空間
> 理由：他們的維度可能太小

> 例子：
> $R^3$ 中，令 subspace $V \ = \ span\{(0,1,0)\}$ , $W \ = \ span\{(0,0,1)\}$
> $V$ 和 $W$ 垂直（因為他們的基底向量內積 = $0$）
> 但是 $V \not= W^\perp$，$W \not= V^\perp$
> $W^\perp$ 應為一個二維平面，$V$ 只是 $W^\perp$ 的其中一部分

但如果加上<font color = "red">保證 $dim(V) + dim(W) =$ 所在空間的維度</font>，則

$V \ = W^\perp$ 且 $W \ = V^\perp$ 且 ==$(V^\perp)^\perp \ = \ V$==


---

如果把 $R^n$ 拆成兩個正交補空間 $V$ 和 $W$，就會把 $R^n$ 中每個 $\vec{x}$ 拆成 $\vec{v} + \vec{w}$
其中：
$\vec{v} \ = \ Proj_V\ \vec x$
$\vec{w} \ = \ Proj_W\ \vec x$


:::success
$Fundamental \ Theorem \ of \ orthoganality$

$N(A) \ = \ RS(A)^\perp \qquad \ \ (in \ R^n)$
$N(A^T) \ = \ CS(A)^\perp \qquad (in \ R^m)$
:::

因為上面的這個 Theorem，由 $N(A) \ = \ RS(A)^\perp$ 我們可以在圖中看到，所有 $R^n$ 中的向量都可以拆成兩個部分：

$\vec{x_r} \ = \ Proj_{RS(A)}\ \vec x$
$\vec{x_n} \ = \ Proj_{N(A)}\ \vec x$

> 意思就是：所有的向量 $\vec{x}$ 都能拆成一個列空間的向量和一個 kernel 中的向量的和

$\rightarrow \ \vec{x} \ = \ \vec{x_n} +\vec{x_r}$

如果我們將這個等式左右同乘 $A$，會得到：
$A\vec{x} \ = \ A\vec{x_n} +A\vec{x_r}$

$\because \ \vec{x_n} \in N(A)$
$\therefore \ A\vec{x_n} = \vec0$

$\rightarrow$ ==$A\vec{x} \ = \ A\vec{x_r}$==

> 這個式子在告訴我們的是：
> 列空間到行空間的轉換，$A$ 實際上是可逆的，也就是說，所有在行空間裡的 $\vec b$，其實都是從列空間裡的 $\vec{x_r}$ 來的，而且 $\vec{x_r}$ 唯一

<font color = "red"> 所有的矩陣都會把 $RS(A)$ 轉換成 $CS(A)$</font>

$A: \ \ \qquad CS(A^T) \ \rightarrow \ CS(A)$
$A^T:\qquad CS(A) \ \rightarrow \ CS(A^T)$

所以當 $A$ 可逆時（即 $rank \ r = m = n$）
$\rightarrow$ 我們可以利用 $(A)^{-1}$ 將 $CS(A) \ \rightarrow \ CS(A^T)$

但如果 $A$ 不可逆
$\rightarrow$ 我們可以用 <font color = "snake">**pseudoinverse** $A^+$</font>
$A^+A \vec x \ = \ \vec x \in RS(A)$

---
## Reference

- Linear Algebra and Its Applications, 4/e (Gilbert Strang)
- Linear Algebra, 4/e (Stephen H. Friedberg, Arnold J. Insel etc.)