# 【資工考研】內積空間

線性代數複習重點摘要

## 內積空間

考慮 $f:V\times V\mapsto \mathbb{F}$ defined by $f(x,y) = \left\langle x,y \right\rangle\in \mathbb{F}$

若滿足：

1. $\left\langle ax+by, z \right\rangle = a\left\langle x,z \right\rangle + b\left\langle y,z \right\rangle$ (左線性)
2. $\left\langle y, x \right\rangle = \overline{\left\langle x,y \right\rangle}$
3. $\left\langle x,x \right\rangle \ge 0 \text{ and } \left\langle x,x \right\rangle = 0\Leftrightarrow x = 0$

則我們稱 $f(\cdot ,\cdot) = \left\langle \cdot ,\cdot \right\rangle$ 為一個內積 (inner product)

其上有定義內積的 vector space 稱作 inner product space

## 性質

1. $\left\langle 0, x \right\rangle = 0\text{, } \forall x\in V$
2. $\left\langle z, ax+by \right\rangle = \overline{a}\left\langle z,x \right\rangle + \overline{b}\left\langle z,y \right\rangle$
3. $x = 0\Leftrightarrow \left\langle x,v \right\rangle = 0\text{, } \forall v\in V\Leftrightarrow \left\langle x,b_i \right\rangle = 0 \text{, }\forall b_i\in \beta\text{, where } \beta \text{ is a basis of } V$

## 常見的內積空間

資工考研可能會問到的內積空間大概就下面幾種：

1. $\mathbb{R}^n$ 上的標準內積
2. $\mathbb{C}^n$ 上的標準內積
3. $\mathbb{F}^n$ 上的加權內積
4. Frobenius 內積
5. $L^2$ 內積

前兩個應該以前看過，第三個比較陌生但看定義就能明白
後兩個如果碰過機器學習應該多少聽過

大概記得：

**1. 內積不只有一種 (最怕高中帶來的印象根深蒂固)**
**2. 上面五種長怎樣 (自己 Google 或是通靈都好)**

應該就行了 不細談

## 範數

考慮 $g: V\mapsto \mathbb{R}^+\cup \left\{ 0 \right\}$ defined by $g(x) = \left\| x \right\|\ge 0$

若滿足：

1. $\left\| cx \right\| = \left| c \right|\cdot \left\| x \right\|, c\in\mathbb{F}$
2. $\left\| x+y \right\|\le \left\| x \right\| + \left\| y \right\|$
3. $\left\| x \right\|\ge 0\text{ and } \left\| x \right\| = 0\Leftrightarrow x = 0$

則稱 $g(\cdot) = \left\| \cdot \right\|$ 為一個範數 (norm)

若 $\left\langle \cdot ,\cdot \right\rangle$ 為一 inner product 則 $\left\| x \right\|\equiv \sqrt{\left\langle x,x \right\rangle}$ 稱為 inner product induced norm

## 正交

$V$ 為內積空間

$$
x\bot y\Leftrightarrow \left\langle x,y \right\rangle = 0
$$

由上定義可知 $x\bot y, \forall y\in V\Leftrightarrow x=0$

若 $x\bot y$ 則 $\left\| x+y \right\|^2 = \left\| x \right\|^2 + \left\| y \right\|^2$
這就內積空間上的畢氏定理，注意這邊是(之後提到的內容也基本是) inner product induced norm

若 $\left\{ x_1,\cdots ,x_k \right\}$ 為正交集，則 $\left\| \sum\limits_{i=1}^{k}c_ix_i \right\|^2 = \sum\limits_{i=1}^{k}\left| c_i \right|^2\left\| x_i \right\|^2$

## 正交分解

考慮 $u,v\in V$ 且 $v\neq 0$

若 $u = cv + (u-cv) = cv + w$ 其中 $w$ 與 $cv$ 正交則稱此為 $u$ 之正交分解 onto $v$
係數 $c = \frac{\left\langle u,v \right\rangle}{\left\langle v,v \right\rangle}$

由上我們就能稍微先提到 $u$ 對 $v$ 之正射影 $\text{Proj}_v(u)\equiv \frac{\left\langle u,v \right\rangle}{\left\langle v,v \right\rangle} v$

很容易就會發現 $u - \text{Proj}_v(u)\bot v$

## 內積空間上的柯西不等式

Let $\left\| x \right\| = \sqrt{\left\langle x,x \right\rangle}$
then $\left| \left\langle u,v \right\rangle \right|\le \left\| u \right\|\cdot \left\| v \right\|$, $\forall u,v\in V$

老朋友柯西不等式
證明不會很難，分 $v = 0$ 跟 $v\neq 0$ 兩個 cases 討論就好
前者直接看就看出來了，後者我們用 $u$ onto $v$ 之正交分解跟畢氏定理看即可

如果讀者高中數學不錯的話應該知道 (或者可以輕易想通)
等號成立時若且唯若 $\left\{ u,v \right\}$ 是相依集