# 線性代數 - Inner Product and Norm

[TOC]

## 定義：內積函數

:::warning

一個內積函數 $d$ 事一個 $V\times V$ 到 $F$ 的函數：

$$
d : V \times V \to F
$$

且 $d$ 滿足下列三個性質：

1. **前項線性**：對於任意 $a \in F$ 以及 $x_1, x_1', x_2 \in V$，有：
$$
\boxed{\begin{align}
&d(ax_1 + x_1', x_2)
\newline
&= a\cdot d(x_1, x_2) + d(x_1', x_2)
\end{align}}
$$

2. **共軛對稱**：對於任意 $x_1, x_2 \in V$，有：
$$
\boxed{d(x_1, x_2) = \overline{d(x_2, x_1)}}
$$

3. **正定**：對於任意 $x \neq 0$，自己跟自己的內積必定大於 $0$：
$$
\boxed{d(x, x) > 0}
$$

:::

### 定義：內積空間

:::warning

一個內積空間是一個四元組 $(V, F, \cdot, d)$ ，其中：

</br>

1. $(V, F, \cdot)$ 是一個向量空間
2. $d$ 是一個內積函數

為了方便，在給定內積函數後，常常用 $\langle x, y \rangle$ 來表示內積空間的那個內積。即：

$$
\langle x, y \rangle := d(x, y)
$$

:::

## 性質：內積的基本性質

:::danger

1. **後項共軛線性**：對於任意 $x_1, x_2, x_2' \in V$，$c \in F$，有：

$$
\boxed{\langle x_1, cx_2 + c_2' \rangle = \langle x_1, x_2 \rangle + c\langle x_1, x_2' \rangle}
$$

2. **0 跟任何人內積都是 0**：對於任意 $x \in V$

$$
\boxed{\langle 0, x \rangle = \langle x, 0 \rangle = 0}
$$

3. **自己跟自己內積是 0 的充要條件**：假定 $x \in V$，則「自己跟自己內積是 $0$」的充要條件是「自己就是 $0$ 向量」：

$$
\boxed{\langle x, x \rangle = 0 \iff x = 0}
$$

4. **相等**：假定 $x_2, x_2' \in V$。如果對於任意 $x \in V$，都有：

$$
\boxed{\langle x, x_2\rangle = \langle x, x_2' \rangle}
$$

則：

$$
\boxed{x_2.= x_2'}
$$
:::

### 證明：後項共軛線性

先用共軛對稱把後面變成前面：

$$
\langle x_1, cx_2 + c_2' \rangle = \overline{\langle cx_2 + c_2', x_1 \rangle}
$$

然後就可以利用首相線性拆開。最後再用束腹的性質把共軛拆開，然後再用共軛對稱換回去，就證明出來了：

$$
\begin{align}
\overline{\langle cx_2 + c_2', x_1 \rangle} &= \overline{c\langle x_2, x_1\rangle + \langle x_2', x_1 \rangle}
\newline
&= \bar c \underbrace{\overline{\langle x_2, x_1 \rangle}}_{\langle x_1, x_2 \rangle} + \underbrace{\overline{\langle x_2', x_1 \rangle}}_{\langle x_1, x_2' \rangle}
\end{align}
$$

### 證明：0 跟任何人內積都是 0

只要證明第一個是 $0$，後面的利用共軛對稱就ㄌ藝課知道也是 $0$。證明的方法也很簡單，比如故意把 $0$ 寫成 $0 + 0$ 然後用消去率消去：

$$
\langle x, \underbrace{0 + 0}_{0} \rangle = \langle x, 0 \rangle + \langle x, 0 \rangle
$$

所以：

$$
\langle x, 0 \rangle = \langle x, 0 \rangle + \langle x, 0 \rangle
$$

左右消去就證明 $\langle x, 0 \rangle$ 是 $0$ 了。

### 證明：自己跟自己內積是 0 的充要條件

而如果 $\langle x, x \rangle = 0$，但 $x \neq 0$ 的話，那就跟內積的定義矛盾了。所以只能是 $0$。

### 證明：相等

這時候 $\langle x_2 - x_3', x_2 - x_2' \rangle$ 展開來，利就會發現是 $0$ 了：

$$
\begin{align}
&\langle x_2 - x_2', x_2 - x_2' \rangle
\newline
&= \underbrace{\langle x_2, x_2 \rangle - \langle x_2, x_2' \rangle}_{0} - \underbrace{\langle x_2', x_2 \rangle + \langle x_2', x_2'\rangle}_{0}
\end{align}
$$

之所以這兩項會是 $0$，是因為把 $x_2$ 跟 $x_2'$ 帶進 $x$ 的位置，就會發現有下面的關係：

$$
\begin{align}
\langle x_2, x_2 \rangle &= \langle x_2, x_2' \rangle
\newline
\langle x_2', x_2 \rangle &= \langle x_2', x_2' \rangle
\end{align}
$$

因此這兩項的結果就是 $0$。

## 例子：標準內積

:::danger

在 $F^{n}$ 上，定義：

$$
\langle x, y \rangle = y^*x
$$

其中，「$*$」是共軛轉置。則 $\langle \cdot, \cdot \rangle$ 是個內積。

:::

由矩陣的運算性質可知：

$$
(y^*)(cx_1 + x_2) = c(y^*x_1) + x_2
$$

以及：

$$
\langle x, x\rangle = \sum |x_i|^2 \geq 0
$$

最後，比較 $\langle x, y \rangle$ 以及 $\langle y, x \rangle$ 可以發現兩個互為共軛：

$$
\langle x, y \rangle = y^*x = \sum_i \bar y_i x_i
$$

$$
\langle y, x \rangle = x^*y = \sum_i y_i\bar x_i
$$

### 觀察：內積 = 用正規基底量 + 標準內積

> 這個要看到完後面再回來看。

:::danger

假定 $V$ 是一個有限維內積空間，且 $d$ 是一個內積函數。假定 $\beta$ 是 $V$ 的 *orthonormal basis*，則：

$$
d(x, y) = ([y]_\beta)^*([x]_{\beta})
$$

:::

爆開就發現會對了。用那個 *orhtonormal basis* 去量 $x, y$。假定量到的結果分別是：

$$
\begin{align}
x &= \sum_{i = 1}^{n}x_i \beta_i
\newline
y &= \sum_{j = 1}^{n}x_j \beta_j
\end{align}
$$

把他們帶進去 $\langle x, y \rangle$，然後爆開：

$$
d\left(\underbrace{\sum_{i = 1}^n x_i \beta_i}_{x} , \underbrace{\sum_{j = 1}^n y_j\beta_j}_{y}\right) = \sum_{i = 1}^n \sum_{j = 1}^n \bar y_j x_i \underbrace{\langle \beta_i, \beta_j \rangle}_{\delta_{ij}}
$$

因為 $\beta$ *orthonormal*，所以 $\langle \beta_i, \beta_j \rangle$ 只有在 $i = j$ 時是 $1$，其餘都是 $0$。因此可以更進一步簡化為：

$$
d(x, y) = \sum_{i = 1}^{n}\bar y_i x_i
$$

由此得證。