# 線性代數 - Orthogonal Sets & Orthonormal Sets

[TOC]

## 定義：向量垂直

:::warning

假定 $V$ 是一個內積空間。假定 $x, y \in V$ 滿足：

$$
\langle x, y \rangle = 0
$$

則稱 $x$ 與 $y$ 「垂直」或「正交」

:::

## 定義：Orthogonal Set & Orthonormal Set

:::warning

假定 $V$ 是一個內積空間， $S \subseteq V$。

1. **Orthogonal**：若對於任意相異的 $x, y \in S$，有：

$$
\langle x, y \rangle = 0
$$

則稱 $S$ 是一個 *orthogonal* 的集合。

2. **Orthonormal**：若更進一步，對於任意 $x \in S$，長度都是 $1$：

$$
\|x\| = 1 \quad \forall x \in S
$$

則稱 $S$ 為一個 *orthonormal* 的集合。

:::

在 *orthogonal* 的定義中，只要求垂直，所以 $0$ 向量可以在裡面; 但如果是 *othonormal*，因為有要求每個向量的長度都是 $1$，所以就不可能有 $0$ 向量出現在裡面。

## 定理：線性組合的分量 (Orthogonal Sets)

:::danger

假定 $V$ 是一個內積空間，且 $S = \{v_1 \dots v_k\}$ 是一個 *orthogonal* 的集合，並且：

$$
0 \neq S
$$

若：

$$
x \in \text{span}(S)
$$

則將 $x$ 用 $S$ 的線性組合表示時，其表示法如下：

$$
x = \sum_{i = 1}^{k} \frac {\langle x, v_i \rangle}{\|v_i\| \|v_i\|}v_i
$$

:::

假定 $x$ 是 $\text{span}(S)$ 中的元素，由 *span* 的定義知道 $x$ 必定具有以下形式：

$$
x = \sum_{j = 1}^{|S|} a_j v_j
$$

如果要求 $a_i$，可以把 $x$ 跟 $v_i$ 做內積：

$$
\left \langle x, v_i \right \rangle = \underbrace{\left \langle \sum_{j = 1}^{|S|} a_j v_j, v_i \right \rangle}_{= \langle a_iv_i, v_i \rangle}
$$

因為 $S$ 中的元素互相垂直，所以只有 $\langle a_iv_i, v_i \rangle$ 會留下來。因此再依照 *norm* 的定義，就會有：

$$
\langle x, v_i \rangle = \langle av_i, v_i \rangle = a_i \|v_i\|^2
$$

移項之後，就可以找出 $a_i$ 的表示法：

$$
a_i = \frac {\langle x, v_i \rangle}{\|v_i\|^2}
$$

把他帶回 $x$ 的表示式中，就可以知道 $x$ 其實可表為：

$$
x = \sum_{i = 1}^{|S|}\underbrace{\frac {\langle x, v_i \rangle}{\|v_i\|^2}}_{a_i}v_i
$$

然後就證完了。

### 推論：「正交 + 非零」則線性獨立

:::danger

假定 $V$ 是一個內積空間，$S \subseteq V$。假定 $S$ 是個 *orthogonal* 的集合，且當中的向量都是非零的向量：

$$
0 \neq S
$$

則 $S$ 是個線性獨立的集合。

:::

這其實由上面就可以證明了。假定：

$$
\sum_{i = 1}^{|S|}a_i v_i = 0
$$

由上面的定理知道：對於任意一個 $v_i$ 前面的係數 $a_i$，他會是下面這個東西：

$$
a_i = \frac {\langle 0, v_i \rangle}{\|v_i^2\|}
$$

因為內積的性質有 $0$ 跟所有向量內積都是 $0$，所以 $\langle 0, v_i \rangle$ 對於每個 $v_i$ 都是 $0$。因此就得證：

$$
a_i = 0 \quad \forall i
$$

既然只有所以 $a_i$ 都是 $0$ 時，才表得出 $0$。所以 $S$ 中的向量都是線性獨立的向量。

## 定理：線性組合的分量 (Orthonormal Sets)

:::danger

假定 $V$ 是一個內積空間，且 $S = \{v_1 \dots v_k\}$ 是一個 *orthonormal* 的集合。假定 $x$ 在 $S$ *span* 出來的空間中：

$$
x \in \text{span}(S)
$$

則將 $x$ 用 $S$ 的線性組合表示時，其表示法如下：

$$
x = \sum_{i = 1}^k \langle x, v_i \rangle v_i
$$

:::

這個其實就是 *Orthonormal Sets* 那個定理的推論。首先，因為 *Orthonormal Sets* 的定義規定裡面都是長度為 $1$ 的向量，所以裡面不可能有 $0$ 向量。接著就可以放心用上面的定理了：因為現在有所有 $v_i$ 的長度都是 $1$，所以係數就變成：

$$
\frac {\langle x, v_i \rangle}{\|v_i\|\|v_i\|}v_i = \langle x, v_i\rangle v_i
$$

然後就證明完了。