# 線性代數 - Orthogonal Complement & Orthogonal Projection

[TOC]

## 定義：Orthogonal Complement

:::warning

假定 $V$ 是一個內積空間，且 $S \subseteq V$。則定義以下的集合為 $S$ 的 *Orthogonal Complement* $S^\perp$ 為「與 $S$ 中所有向量垂直」的向量形成的集合：

$$
S^\perp = \{v \in V \mid \langle v, s \rangle = 0 \quad \forall s \in S\}
$$

:::

### 觀察：是子空間

:::danger

假定 $V$ 是個內積空間，且 $\subseteq V$。則 $S^\perp$ 是個 $V$ 的子空間。

:::

因為 $0$ 跟任何向量的內積都是 $0$，所以顯然 $0 \in S^\perp$。接下來只要證明「封閉性」就好。假定 $x, y \in S^\perp$，且 $a \in F$。現在的目標是要證明在這樣的狀況下，$(ax + y)$ 也在 $S^\perp$ 中：

$$
ax + y \in S^\perp
$$

或著是說：要想辦法證明 $(ax + y)$ 跟任意 $S$ 中的向量垂直。所以就隨便挑一個 $s \in S$ 來內積看看：

$$
\langle ax + y, s\rangle = a \underbrace{\langle x, s \rangle}_{0} + \underbrace{\langle y , s \rangle}_{0} = 0
$$

然後就發現：用內積的首項線性拆開來之後，因為 $x, y$ 都在 $S^\perp$ 中，所以跟任意 $S$ 的向量 $s$ 內積起來是 $0$。因此就證明了在 $x, y \in S^\perp$ 的狀況下， $(ax + y)$ 也跟任何 $S$ 中的向量垂直，也就是 $(ax + y) \in S^\perp$。因此就證明完了封閉性。

## 定理：Replacement Theorem 的加強版

:::danger

假定 $W$ 是一個 $n$ 維的內積空間，$V$ 是 $W$ 的一個子空間。且：

$$
S = \{v_1 \dots v_k\}
$$

是 $V$ 的 *orhtonormal basis*。則：

1. **S 可以延展成 W 的正規基底**：存在

$$
S' = \{v_{k + 1}\dots v_n\}
$$

使得以下的集合是 $W$ 的 *orthonormal basis*：

$$
\beta = \{\underbrace{v_1 \dots v_{k}}_{S}, \underbrace{v_{k + 1} \dots v_{n}}_{S'}\}
$$

2. **多的部分剛好是正補空間的基底**：更進一步，$v_{k+1} \dots v_n$ 是 $V^\perp$ 的基底：

:::

第一點就是用 *replacement theorem*，知道存在 $w_{k + 1} \dots w_{n}$，使得下面這個集合是 $V$ 的基底：

$$
\{v_1 \dots v_k, w_{k+1} \dots w_{n}\}
$$

接著對這個集合依照編號使用 *Grand-Schmidt*。由 *Grand-Scmidt* 的定義發現：$v_1 \dots v_k$ 在做完之後都不變，只有後面的 $w_{k+1}\dots w_n$ 有可能變化。所以用 *Grand-Schmidt* 做完之後的集合就是滿足定理要求的 $\beta$ 了。

首先，可以證明：

$$
\text{span}(v_{k+1}\dots v_n) \subseteq V^\perp
$$

這是因為：任意 $v_{k+1} \dots v_k$ 都跟 $v_1 \dots v_k$ 中的所有向量垂直。所以對於任意 $\text{span}(S)$ 中的元素，顯然有：

$$
\left \langle \underbrace{\sum_{i = 1}^{k}a_iv_i}_{\in \text{span}(S) = V}, \sum_{i = k+1}^n b_i v_i \right \rangle = 0
$$

另外一方面，也可以證明：

$$
V^\perp \subseteq \text{span}(v_{k+1}\dots v_k)
$$

這是因為：假定 $x \in V^\perp$，用 $\beta$ 去量這個元素，可以知道他的表示法會是：

$$
x = \sum_{i = 1}^n \langle x, v_i \rangle v_i
$$

因為 $x \in V^\perp$，而 $\{v_1 \dots v_k\}$ 是 $V$ 中的向量，所以依照 $V^\perp$ 的定義，$x$ 跟 $v_1 \dots v_k$ 都互相垂直。因此這個上面這坨東西中，前面 $k$ 項黏著的係數都是 $0$：

$$
\langle x, v_i \rangle = 0 \quad (1 \leq i \leq k)
$$

因此就發現：

$$
x = \underbrace{\sum_{i = k + 1}^n \langle x_i, v_i \rangle v_i}_{\in \text{span}(v_{k+1}\dots v_n)}
$$

因此就證明完了另外一個方向。

### 定理：母空間 = 子空間 + 子空間的 Orthogonal Complement

:::danger

假定 $W$ 是一個有限維向量空間，且 $V \subseteq W$ 是一個 $W$ 的子空間。則：

$$
W = V \oplus V^\perp
$$

:::

上面已經證明了任何 $V$ 中的 *orthonormal basis*，都有辦法延展成 $W$ 的 *orthonormal basis*，而且多出來的部分會是 $V^\perp$ 的基底。換句話說，這個基底可以拆成不相交的兩個部分，其中一個部分展出 $V$，另外一個部分展出 $V^\perp$：

$$
\beta = \{\underbrace{v_{1}\dots v_{k}}_{\text{spans } V}, \underbrace{v_{k+1}\dots v_n}_{\text{spans } V^\perp}\}
$$

由直和的等價敘述，得證母空間是 $V$ 跟 $V^\perp$ 的直和：

$$
W = V \oplus V^\perp
$$

### 觀察：正補空間的正補空間

:::danger

假定 $W$ 是一個有限維內積空間，且 $V \subseteq W$ 是一個 $W$ 的子空間。則：

$$
\left(V^{\perp}\right)^\perp = V
$$

:::

因為現在是有限維，所以有：

$$
W = V \oplus (V^\perp)
$$

同樣的敘述，只是把 $V$ 的地位換成 $(V^\perp)$，就會有：

$$
W = (V^\perp) \oplus (V^\perp)^\perp
$$

會發現兩邊都有 $(V^\perp)$ 出現。依照直和的性質，可以推論：

$$
\dim{V} = \dim{(V^\perp)^\perp}
$$

而由 $V^\perp$ 的定義可知：任意 $V^\perp$ 中的向量，都跟 $V$ 中的所有的向量垂直。因此：任意 $V$ 中的向量，都跟所有 $V^\perp$ 的向量垂直 (聽起來像廢話)。換句話說，$V$ 是一個包在 $V^\perp$ 中的子空間：

$$
V \subseteq (V^\perp)^\perp
$$

既然 $V^\perp$ 是一個向量空間，而 $V$ 是跟 $V^\perp$ 維度一樣的子空間，因此就得證兩個空間一定要一模一樣：

$$
V = (V^\perp)^\perp
$$

## 定義：Orthogonal Projection

:::warning

假定 $V$ 是一個內積空間，且 $T \in \mathbb L(V)$ 是一個投影函數，且 $T$ 滿足：

1. **對應域是值域的 Orthogonal Compliment**：

$$
T(V)^\perp = N(T)
$$

2. **值域是對應域的 Orthogonal Compliment**：

$$
N(T)^\perp = T(V)
$$

則稱 $T$ 是一個正交投影函數。

:::

這個定義要分開寫的理由是：在無限維的空間中，前面跟後面未必等價。但是如果是在有限維向量空間的話，因為只要對一其中一條左右同時取 *perp* ，就會自動得到另外一條 (因為有 *perp* 兩次會變成自己)，所以其實只等價於其中一條。

### 觀察：唯一性

:::danger

假定 $W$ 是一個有限維向量空間，$V \subseteq W$ 是一個 $W$ 的子空間。則：將 $W$ 中向量投往 $V$ 的正交投影是唯一的。

:::

因為 $W$ 可以表程 $V$ 跟 $V$ 的正交補集的直和：

$$
W = V \oplus V^\perp
$$

給定直和之後，投影函數就唯一決定了。所以這樣的投影函數是唯一的。