# 線性代數 (Linear Algebra)
[toc]

---
## ch1 矩陣與聯立方程組
### 1.1 線性方程組
- 線性
- 解、解的集合 (solution set)
- 參數表示法 (parametric representation)
- 有解 (consistent)、無解 (inconsistent)
- 等價 (equivalent)
- 嚴格三角系統 (strict triangular systems)
- 回代法 (back substitution)
- 係數矩陣、增廣矩陣
- 初等列運算 (elementary row operations)
- row swap
- row scaling
- row addition

### 1.2 列階梯形 (row echelon form)
- 列階梯形
- 主變數 (lead variables)
- 自由變數 (free variables)
- 高斯消去法
- 簡化列階梯形 (reduced row echelon form)
- 高斯喬丹消去法
- 超定系統 (overdetermined system)
- $m\times n$ linear systems with $m>n$
- 通常無解
- 欠定系統 (underdetermined system)
- $m\times n$ linear systems with $m<n$
- 無解或無限多解
- 線性齊次方程組 (homogeneous system of linear equations)
- 至少有一個平凡解 (trivial solution)：全為0
- 若 $m<n$ 則有非平凡解

### 1.3 矩陣運算
- 矩陣 (matrix)
- row vector $(a_{i1}\,,a_{i2}\,,\,\dots\,,a_{in})$
- column vector $(a_{1j}\,,a_{2j}\,,\,\dots\,,a_{mj})^T$
- 相等、相加、純量乘法 (scalar multiplication)
- 零矩陣
- 加法反元素
- 矩陣乘法 $[a_{ij}]_{m\times n}[b_{ij}]_{n\times p}=[c_{ij}]_{m\times p}$
- 無交換律
- 矩陣乘法跟線性系統
- ==線性組合==
- $Ax=b$，x有解 $\Leftrightarrow$ b可被寫成A的欄向量的線性組合
- 轉置 (transpose)：$(AB)^T=B^TA^T$
- 對稱 (symmetric)：方陣$A=A^T$

### 1.4 矩陣代數
- 方陣 (square matrix)
- 單位矩陣 (identity matrix)
- 可逆的 (invertible, nonsingular) $\Leftrightarrow$ 奇異的 (singular, noninvertible)
- 若A可逆，則A的反矩陣 $A^{-1}$ 存在且唯一
- A和B皆為可逆方陣，則 $(AB)^{-1}=B^{-1}A^{-1}$

### 1.5 基本矩陣
- ==基本矩陣== (elementary matrix)：由 $I_n$ 經過一次基本列運算得到的矩陣
- 必定可逆，且 $E^{-1}$ 也是基本矩陣
- 列等價 (row equivalence)
- ==「方形矩陣可逆」的等價條件==
- $Ax=0$ 只有零解 ($Ax=b$ 對每個 $b$ 都有唯一解)
- $A$ 與 $I_n$ 列等價 ( $A$ 的RREF是 $I_n$ )
+ $\det(A)\ne0$
+ A的列向量、欄向量線性獨立
+ $\text{rank}(A)=n\,,N(A)=\{0\}$
- 找反矩陣：高斯喬丹消去法 $[A|I]\to[I|A]$
- ==LU分解 (LU-factorization)==
- 上三角矩陣 (upper triangular matrix)、下三角矩陣 (lower triangular matrix)
- 對角矩陣 (diagonal matrix)：同時為上三角與下三角

---
## ch2 行列式 (determinant)
### 2.1 矩陣的行列式
- 方陣才有行列式
- 行列式：det(A)=|A| (可為負)
- 小行列式 (minor)：$M_{ij}$
- 餘因子 (cofactor)：$A_{ij}=(-1)^{i+j}\det(M_{ij})$
- $\det(A)=\sum_{j=1}^n a_{ij}A_{ij}=\sum_{i=1}^n a_{ij}A_{ij}$
- $\det(A)=\det(A^T)$
- 三角矩陣A的行列式 $\det(A)=a_{11}a_{22}\dots a_{nn}$

### 2.2 行列式的性質
- $a_{i1}A_{j1}+a_{i2}A_{j2}+\dots+a_{in}A_{jn}=$
- $\det(A)\text{ , if }i=j$
- $0\text{ , if }i\ne j$
- 基本列運算不改變行列式值
- $\det(AB)=\det(A)\det(B)$
- $\det(A^{-1})=\frac1{\det(A)}$
- $\det(\alpha A)=\alpha^n\det(A)$

### 2.3 應用
- 伴隨矩陣 (adjoint matrix)：餘因子矩陣的轉置，$\text{adj}A=[A_{ij}]^T$
- $A(\text{adj}A)=\det(A)\,I$
- 算反矩陣：==$A^{-1}=\frac1{\det(A)}\text{adj}A$== when $\det(A)\ne0$
- 克拉馬公式 (Cramer's rule)

---
## ch3 向量空間 (vector space)
### 3.1 定義
- 歐幾里得向量空間：所有有序n元組(ordered n-tuple)所形成的集合 $\mathbf x=(x_1,x_2,\ldots,x_n)^T$
- 標準運算(具有封閉性)：向量加法、純量乘法
- 向量空間公理：

| 公理名稱 | 數學表達式 | 中文說明 |
| --- | --- | --- |
| ==加法封閉性== |若 $\mathbf u\,,\mathbf v\in V$，則 $\mathbf u+\mathbf v\in V$|向量相加仍在同一空間中|
|==純量乘法封閉性== | 若 $c\in\mathbb R,\mathbf u\in V$，則 $c\mathbf u \in V$ | 純量乘以向量仍在空間內 |
| 加法交換律 | $\mathbf u+ \mathbf v=\mathbf v+\mathbf u$ |相加順序不影響結果|
|加法結合律| $(\mathbf u+\mathbf v)+\mathbf w= \mathbf u+(\mathbf v+\mathbf w)$ | 加法群結合性 |
| 加法單位元 | 存在 $\mathbf 0\in V$，使得 $\mathbf u +\mathbf 0= \mathbf u$ | 存在零向量（加法不變元素） |
|加法反元素|對每個 $\mathbf u$，存在 $-\mathbf u$，使得 $\mathbf u+(-\mathbf u)=\mathbf 0$|每個向量都有相反向量|
|純量分配律（對向量）|$c(\mathbf u+\mathbf v)= c\mathbf u+c\mathbf v$ | 純量對加法分配 |
|純量分配律（對純量）|$(c+d)\mathbf u=c\mathbf u+ d\mathbf u$ | 向量對純量加法分配 |
|純量結合律|$c(d\mathbf u)=(cd)\mathbf u$|乘法結合性|
|純量單位元|$1\mathbf u=\mathbf u$|1 乘任何向量不改變它|

- 函數空間 $C[a,b]$：所有定義在封閉區間 $[a,b]$ 上、實值且連續的函數集合
- n次多項式空間 $P_n$：所有「次數小於n的多項式」所構成的集合
- 若 $\mathbf x$ 為向量空間 $V$ 的任一元素，則：
- $0\mathbf x=0\quad$||$\Rightarrow$ 任何向量空間均有零向量||
- $\mathbf x+\mathbf y=0\Rightarrow \mathbf y=-\mathbf x$
- $(-1)\mathbf x=-\mathbf x$

### 3.2 子空間 (subspace)
- 若 $S$ 是向量空間 $V$ 的一個**非空**子集，則 $S$ 是 $V$ 的子空間
- 平凡子空間 (trivial subspace)：$\{0\}$、$V$ 自己
- ==零空間== (null space)：$N(A)=\{\mathbf x\in\mathbb R^n\mid A\mathbf x=\mathbf 0\}$
- 可以想成是齊次解的集合
- 使用高斯喬丹消去法來解
- ==線性組合== (linear combination)：$\mathbf v=c_1\mathbf v_1+c_2\mathbf v_2+\dots+c_n\mathbf v_n$。其中 $c_1, c_2, ..., c_n$ 是純量 (scalars)
- ==張成== (span)：$\text{Span}(\mathbf v_1,\mathbf v_2,...,\mathbf v_n)= \{ c_1\mathbf v_1 + c_2\mathbf v_2+\dots+c_n\mathbf v_n\mid c_1,c_2,...,c_n\in \mathbb R \}$
- 若$v_1,v_2,\dots,v_n\in V$，則 $\text{Span}(v_1,v_2,\dots,v_n)$ 為V的子空間
- ==生成集合== (spanning set)：$\text{Span}(v_1,v_2,\dots,v_n)=V$
> 線性方程組的結構性定理：
> 若方程組 $A\mathbf x=\mathbf b$ 有解，且 $\mathbf x_0$ 為一個特解，那麼向量 $\mathbf y$ 也是解，當且僅當 $\mathbf y =\mathbf x_0+\mathbf z$，其中 $\mathbf z$ 屬於 $A$ 的零空間。
> 一般解 (general solution) = 特解 (particular solution) + 齊次解 (homogeneous solution)

### 3.3 線性獨立 (linear independence)
- 線性獨立：$c_1\mathbf v_1 + c_2\mathbf v_2+\dots+c_n\mathbf v_n=0$ 只有平凡解(零解)
- $若\mathbf x_1,\mathbf x_2,\dots,\mathbf x_n為\mathbb R^n$中的向量，$X=[\mathbf x_1,\mathbf x_2,\dots,\mathbf x_n]$，則矩陣 $X$ 可逆$\Leftrightarrow\mathbf x_1,\mathbf x_2,\dots,\mathbf x_n$ 線性獨立
- 若 $\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n$ 線性獨立，則任一向量 $\mathbf v\in\text{Span}(\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n)$ 皆可被唯一地表示為 $\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n$的線性組合

### 3.4 基底與維度 (Basis and Dimension)
- 若 $\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n$ 組成向量空間$\mathbf V$的基底，則：
- $\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n$ 線性獨立
- $\text{Span}(\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n)=\mathbf V$
- n個向量就夠張成$V$，因此任意取超過n個向量時必定線性相依
- 若 $\{\mathbf v_1,\mathbf v_2,\dots,\mathbf v_n\}$ 和 $\{\mathbf u_1,\mathbf u_2,\dots,\mathbf u_m\}$ 都是$V$的基底，則：
- $n=m=\text{dim}V=$ 向量空間$V$的維度
- 任意n個線性獨立的向量張成$V$，任意n個張成$V$的向量線性獨立
- 少於n個向量無法張成$V$

### 3.5 基底變換 (Change of Basis)
- 若 $E=[\mathbf v_1,\dots,\mathbf v_n]$ 為 $V$ 的一個有序基底，且 $\mathbf x=c_1\mathbf v_1+\dots+c_n\mathbf v_n$，則 $c_1,\dots,c_n$ 為向量 $\mathbf x$ 在基底 $E$ 下的座標：$[\mathbf x]_E = \begin{bmatrix} c_1 \\ \vdots \\ c_n \end{bmatrix}$
- 標準基底 $E=\{\mathbf e_1,\dots,\mathbf e_n\}$、基底 $F=\{\mathbf f_1,\dots,\mathbf f_n\}$，向量 $\mathbf v=[\mathbf v]_E$
- ==基底變換公式：$P_{F\to E}\,[\mathbf v]_F=[\mathbf v]_E$==
- 將 $\mathbf v=\{\mathbf f_1,\dots,\mathbf f_n \}$ 代入公式，即可得到基底變換矩陣：
$P_{F\to E}\begin{bmatrix}1&\cdots&0\\
\vdots&\ddots&\vdots\\0&\cdots&1\end{bmatrix} =\begin{bmatrix}|&|&&|\\
\mathbf f_1&\mathbf f_2&\cdots&\mathbf f_n\\
|&|&&|\end{bmatrix}=F$
- $P_F=P_{F\to E}\;,\,P_{E\to F}=(P_{F\to E})^{-1}$
- 基底 $A=\{\mathbf a_1,\dots,\mathbf a_n\}$、基底 $B= \{\mathbf b_1,\dots,\mathbf b_n\}$，欲求 $P_{A\to B}$：
- $P_{A\to B}=P_{E\to B}P_{A\to E}=\begin{bmatrix}|&|&&|\\
\mathbf b_1&\mathbf b_2&\cdots&\mathbf b_n\\
|&|&&|\end{bmatrix}^{-1} \begin{bmatrix}|&|&&|\\
\mathbf a_1&\mathbf a_2&\cdots&\mathbf a_n\\
|&|&&|\end{bmatrix}$
- $[P_{B\to E}|P_{A\to E}]\to[P_{E\to B}P_{B\to E}|P_{E\to B}P_{A\to E}]=[I_n|P_{A\to B}]$

### 3.6 列空間與欄空間 (Row Space and Column Space)
- $A_{m\times n}\in\mathbb R^{m\times n}$
- row space of A : 列向量所張成的空間，$\text{Row}(A) \subseteq \mathbb R^n$
- column space of A : 欄向量所張成的空間，$\text{Col}(A) \subseteq \mathbb R^m$
- null space of A : $N(A)=\{\mathbf x\in\mathbb R^n|A\mathbf x=\mathbf 0\}$
- 秩：$\text{rank}(A)=\dim(\text{Row}(A)) = \dim(\text{Col}(A))$
- 做列運算時，不會改變列空間，但會改變欄空間
- 兩矩陣A跟B列等價 $\Leftrightarrow$ A和B有相同的列空間
- $A\in\mathbb R^{m\times n}$，A有n個欄向量
- $A\mathbf x=\mathbf b\,有解\Leftrightarrow\mathbf b$ 在A的欄空間內
- $\forall\mathbf b\in\mathbb R^m，A\mathbf x=\mathbf b \,有解\Leftrightarrow$ A的欄向量張成 $\mathbb R^m\Rightarrow n\ge m$
- $\forall\mathbf b\in\mathbb R^m，A\mathbf x=\mathbf b \,最多一個解\Leftrightarrow$ A的欄向量線性獨立 $\Rightarrow n\le m$
- 若A的欄向量組成 $\mathbb R^m$ 的基底 $\Rightarrow n=m$，且A為可逆矩陣 (因欄向量LI)
- ==秩零度定理 (Rank–Nullity Theorem)==：若 $A\in\mathbb R^{m\times n}$，則 $n=\text{rank}(A)+\text{nullity}(A)$，其中 $\text{nullity}(A)=\text{dim}(N(A))$

---
## ch4 線性變換 (linear transformation)
### 4.1 定義
- 轉換函數 $L:V→W$，能從向量空間 $V$ 映射(mapping)到向量空間 $W$，將輸入 $\mathbf v \in V$ 指派一個輸出 $L(\mathbf v) = \mathbf w \in W$
- 定義域（domain）：$V$，為輸入空間
- 陪域（codomain）：$W$，為理論輸出空間
- 像 (image)：若 $L(\mathbf v)=\mathbf w$，則 $\mathbf w$ 是 $\mathbf v$ 在 $L$ 下的像
- 值域 (range)：$L(V)=\{L(\mathbf v)|\mathbf v\in V\}$，為實際輸出的集合
- 原像 (preimage)：$L^{-1}(\mathbf w)=\{\mathbf v\in V|L(\mathbf v)=\mathbf w \}$，所有映成w的v
- 原像(逆像)不一定只有一個向量，有時會有無限多個向量對應到同一個w
- 線性轉換：滿足 $L(a\mathbf v_1+b\mathbf v_2)= aL(\mathbf v_1)+bL(\mathbf v_2)$
- 此時值域為陪域的子空間
- ==核空間 (kernel)==：$\text{ker}(L)=\{\mathbf v\in V|L(\mathbf v)=0_W\}$
- $\text{nullity}(L)=\text{dim}(\text{ker}(L))$
- $\text{rank}(L)=\text{dim}(L(V))$
- 一對一：$\forall\mathbf u,\mathbf v\in V,L(\mathbf u)=L(\mathbf v)\Leftrightarrow \mathbf u=\mathbf v$
- 滿射：$\forall\mathbf w\in W,\exists\mathbf v\in V$ s.t. $L(v)=w$
- $L(V)=W$
- $\text{rank}(L)=\text{dim}(W)$

### 4.2 線性變換的矩陣表示 (matrix representation)
- 標準基底：若線性轉換 $L:\mathbb R^n\to\mathbb R^m$，則：
- 必定存在矩陣 $A_{m\times n}$ 使得 $L(\mathbf x)=A\mathbf x\;,\;\forall\mathbf x\in\mathbb R^n$
- 其中 $A$ 的第 $j$ 欄向量為 $\mathbf a_j=L(\mathbf e_j)\;,\;j=1,2,\dots,n$
- $\{\mathbf e_1,\dots,\mathbf e_n\}$ 為 $\mathbb R^n$ 的標準基底，故矩陣 $A$ 為線性轉換 $L$ 的標準矩陣
- 一般基底：若 $L:V\to W$，且 $E=\{\mathbf v_1,\dots,\mathbf v_n\}$ 為 $V$ 的有序基底、$F=\{\mathbf w_1,\dots,\mathbf w_m\}$ 為 $W$ 的有序基底，則：
- 必定存在矩陣 $A_{m\times n}$ 使得 $[L(\mathbf v)]_F=A[\mathbf v]_E\;,\;\forall\mathbf v\in V$
- 其中 $A$ 的第 $j$ 欄向量為 $\mathbf a_j = [L(\mathbf v_j)]_F\;,\;j=1,2,\dots,n$
- $A$ 為線性轉換 $L$ 在基底 $E$ 與 $F$ 下的矩陣表示
- 實數空間下的一般基底：若 $L:\mathbb R^n\to\mathbb R^m$，且 $E=\{\mathbf v_1,\dots,\mathbf v_n\}$ 為 $\mathbb R^n$ 的有序基底、$F=\{\mathbf w_1,\dots,\mathbf w_m\}$ 為 $\mathbb R^m$ 的有序基底，矩陣 $A$ 為線性轉換 $L$ 在基底 $E$ 與 $F$ 下的矩陣表示，則：
- $\mathbf a_j=[L(\mathbf v_j)]_F=P_{std\to F}[L(\mathbf v_j)]_{std}= F^{-1}L(\mathbf v_j)$
- $[\mathbf w_1,\dots,\mathbf w_m|L(\mathbf v_1),\dots,L(\mathbf v_n)]\to[I_m|A]$

### 4.3 相似 (similarity)
- 若 $L:V\to V$，且 $A$ 和 $B$ 分別為 $L$ 在基底 $E$ 和基底 $F$ 下的矩陣表示， $S$ 為從基底 $F$ 到基底 $E$ 的基底變換矩陣，則：
- $[L(\mathbf v)]_E=A[\mathbf v]_E\;,\;[L(\mathbf v)]_F=B[\mathbf v]_F\;,\;[\mathbf v]_E=S[\mathbf v]_F$
- $B=S^{-1}AS$
- 若存在可逆矩陣 $S$ 使得 $B=S^{-1}AS$，則 $A$ 和 $B$ 相似

---
## ch5 正交性 (orthogonality)
### 5.1 純量積 (scalar product in R^n^)
- 若 $\mathbf x=(x_1,\dots,x_n)^T\in\mathbb R^n,\mathbf y=(y_1,\dots,y_n)^T\in\mathbb R^n$，則純量積 $\mathbf x^T\mathbf y=x_1y_1+\cdots+x_ny_n$
- 交換律：$\mathbf x^T\mathbf y=\mathbf y^T\mathbf x$
- 分配律：$\mathbf x^T(\mathbf y+\mathbf z)=\mathbf x^T\mathbf y+\mathbf x^T\mathbf z$
- $c(\mathbf x^T\mathbf y)=(c\mathbf x)^T\mathbf y=\mathbf x^T(c\mathbf y)$
- $\mathbf x^T\mathbf x=||\mathbf x||^2$，$||\mathbf x||$ 為歐幾里得長度(Euclidean length)，又稱範數(norm)
- 兩向量之距離：$||\mathbf x-\mathbf y||$
- $\mathbf x^T\mathbf y=||\mathbf x||\,||\mathbf y||\cos\theta$
- 單位向量：$||\mathbf u||=\frac{\mathbf x}{||\mathbf x||}=1$，$\cos\theta=\mathbf u^T\mathbf v$
- 柯西-施瓦茨不等式 (Cauchy-Schwarz Inequality)：$|\mathbf x^T\mathbf y|\le||\mathbf x||\,||\mathbf y||$
- 正交 (orthogonal)：若 $\mathbf x\perp\mathbf y$，則 $\mathbf x^T\mathbf y=0$
- 純量投影(scalar projection)：$\alpha=||\mathbf x||\cos\theta=\frac{\mathbf x^T\mathbf y}{||\mathbf y||}$
- 向量投影(vector projection)：$\mathbf p=\alpha\mathbf u=\alpha\frac{\mathbf y}{||\mathbf y||}=\frac{\mathbf x^T\mathbf y}{\mathbf y^T\mathbf y}\mathbf y$

### 5.2 正交子空間 (orthogonal subspace)
- 正交子空間：若 $\mathbb R^n$ 中兩個子空間 $X\perp Y$，則 $\forall x\in X,\forall y\in Y,x^T y = 0$
- 正交補空間：$Y^\perp=\{x\in\mathbb R^n \mid x^Ty=0\,,\forall y\in Y\}$
- $X\perp Y\Leftrightarrow X\cap Y=\{0\}$
- $(Y^\perp)^\perp=Y$
- 線性變換 $L(x)=Ax$ 中，矩陣 $A_{m\times n}$ 的==四大基本子空間==：
- $N(A)=\{\mathbf x\in\mathbb R^n|A\mathbf x=0\}$：Null space，哪些x會被A變成0(齊次解)
- $N(A^T)=\{\mathbf x\in\mathbb R^m|A^T\mathbf x=0\}$：Left null space，與輸出正交之向量
- $R(A)=\{\mathbf b\in\mathbb R^m|A\mathbf x=\mathbf b\}$：Column space，A的值域 (range)
- $R(A^T)=\{\mathbf y\in\mathbb R^n|A^T\mathbf x=\mathbf y\}$：Row space，A的列向量生成的空間
- ==基本子空間定理==：
- 輸入空間 $\mathbb R^n=R(A^T)⊕N(A)$，兩子空間正交
- 輸出空間 $\mathbb R^m=R(A)⊕N(A^T)$，兩子空間正交
- 直和 (direct sum)：若每個向量 $w\in W$ 都可以被唯一地寫成 $w=u+v$，其中 $u\in U,v\in V$，U與V是向量空間W的兩個子空間，則 $W=U\oplus V$，並且可推論 $U\cap V=\{0\}$
- 若子空間 $S\subseteq\mathbb R^n$，則 $\mathbb R^n=S\oplus S^\perp\;,\;\dim S+\dim S^\perp=n$
- 對於矩陣 $A_{m\times n}$，任一向量 $\mathbf b\in\mathbb R^m$ 都使 $A\mathbf x=\mathbf b$ 只可能是以下情況之一：
- 存在 $\mathbf x\in\mathbb R^n$ 使得 $A\mathbf x=\mathbf b$。此時 $\mathbf b\in R(A)$
- 無解，且必定存在向量 $\mathbf y\in\mathbb R^m$ 使得 $A^T\mathbf y=0\;,\,\mathbf y^T\mathbf b\ne0$。此時 $\mathbf b\notin R(A)$

### 5.3 最小平方問題 (least squares problems)
給一矩陣 $A_{m\times n}$、向量 $\mathbf b\in\mathbb R^m$，試求 $\mathbf x\in \mathbb R^n$ 使得 $||\mathbf b-A\mathbf x||$ 為最小值，其中 $r(x)=\mathbf b-A\mathbf x$ 為誤差。
- 必存在唯一的向量 $\mathbf p\in S$ 最靠近 $\mathbf b$，且 $\mathbf b-\mathbf p\in S^\perp$
- 向量 $\mathbf p=A\hat{\mathbf x}$ 會是 $\mathbf b$ 在 $R(A)$ 上的投影 ||(想成正射影)||，$\mathbf b-\mathbf p=\mathbf b-A\hat{\mathbf x}\in R(A)^\perp=N(A^T)\;,\;A^T(\mathbf b-A\hat{\mathbf x})=0\;,\;$
得出 ==正規方程式：$A^TA\hat{\mathbf x}=A^T\mathbf b$==
- 若 $\text{rank}(A)=n$，則方程式有唯一解 $\hat{\mathbf x}=(A^TA)^{-1}A^T\mathbf b$ ||(想成正射影量)||
- 投影向量 $\mathbf p=A\hat{\mathbf x}=A(A^TA)^{-1}A^T\mathbf b=P\mathbf b$，投影矩陣 $P=A(A^TA)^{-1}A^T$
- $P^T=P$
- $P^2=P$
- $R(P)=R(A)$
- $N(P)=(R(A))^\perp=N(A^T)$

### 5.4 內積空間 (inner product space)
- ==內積==是一個運算，輸入兩個向量、輸出一個實數：$\langle x,y\rangle\in\mathbb R$
- 正定性：$\langle x,x\rangle\ge0\;,\langle x,x\rangle=0 \Leftrightarrow x=0$
- 對稱性：$\langle x,y\rangle=\langle y,x\rangle$
- 線性：$\langle cx+dy,z\rangle=c\langle x,z\rangle+d\langle y,z\rangle$
- 加權內積：$\langle x,y\rangle=\sum_{i=1}^nx_iy_iw_i\;,\;w_i>0$
- 矩陣內積：給定兩矩陣 $A,B\in\mathbb R^{m\times n}$，定義 $\langle A,B\rangle=\sum_{i=1}^m\sum_{j=1}^na_{ij}b_{ij}$
- Frobenius Norm：$||A||_F=(\langle A,A\rangle)^\frac12=(\sum_{i=1}^m\sum_{j=1}^na_{ij}^2)^\frac12$
- 內積空間中可定義長度、距離、角度、正交
- ==長度==：$||u||=\sqrt{\langle u,u\rangle}$
- 距離：$||u-v||=\sqrt{\langle u-v,u-v\rangle}$
- 角度：$\cos\theta=\frac{\langle u,v\rangle}{||u||\,||v||},0\le\theta\le\pi$
- 正交：$\langle u,v\rangle=0$
- 畢氏定理 (Pythagorean Law)：若$u$和$v$在內積空間$V$內正交，則 $||u+v||^2=||u||^2+||v||^2$
- 三角不等式 (Triangle Inequality)：$||u+v||\le||u||+||v||$
- 純量投影：$\alpha=\frac{\langle\mathbf u,\mathbf v\rangle}{||\mathbf v||}$
- 向量投影：$\mathbf p=\alpha\frac{\mathbf v}{||\mathbf v||}=\frac{\langle\mathbf u,\mathbf v\rangle}{\langle\mathbf v,\mathbf v\rangle}\mathbf v$
- 柯西-施瓦茨不等式：$|\langle u,v\rangle|\le||u||\,||v||$，等號成立於兩者線性相依時
- ==範數== (norm)：一種衡量向量長度的函數，必須滿足非負性 $||v||\ge0$、齊次性 $||c\mathbf v||=|c|\,||\mathbf v||$、三角不等式
- 1-norm (曼哈頓距離)：$||x||_1=\sum_{i=1}^n|x_i|$
- 2-norm (歐幾里得範數)
- p-norm：$||x||_p=(\sum_{i=1}^n|x_i|^p)^\frac1p,\;p\ge1$
- infinity norm / uniform norm

### 5.5 標準正交集 (orthonormal set)
- 正交集 (orthogonal set)：一組非零向量 $B=\{v_1,v_2,\dots,v_n\}\subseteq V$ 滿足 $\langle v_i,v_j\rangle=0\;,\;i\ne j$
- 若B張成子空間S，則B為S的正交基底
- 正交集必定線性獨立
- 標準正交集 (orthonormal set)：一組單位向量 $B=\{u_1,\dots,u_n\}\subseteq V$ 為正交集
- 若B為子空間S的基底，則B為S的標準正交基底
- 向量v在基底B下的座標：$[v]_B=\begin{pmatrix}\langle v,u_1\rangle\\\vdots\\\langle v,u_n\rangle\end{pmatrix}$
- 若 $\{u_1,\dots,u_n\}$ 為標準正交集，且 $\mathbf x=\sum_{i=1}^na_i\mathbf u_i\;,\,\mathbf y=\sum_{i=1}^nb_i\mathbf u_i$，則 $\langle x,y\rangle=a_1b_1+\cdots+a_nb_n$
- 帕塞瓦公式 (Parseval’s Formula)：若 $\{u_1,\dots,u_n\}$ 為標準正交集，且 $\mathbf v=\sum_{i=1}^nc_i\mathbf u_i$，則 $||\mathbf v||^2=\sum_{i=1}^nc_i^2$
- 正交矩陣 (orthogonal matrix)：方形矩陣 $Q_{n\times n}$ 的欄向量構成標準正交集
- $Q^TQ=I\;,\,Q^{-1}=Q^T$
- $\langle Q\mathbf x,Q\mathbf y\rangle=\langle\mathbf x,\mathbf y\rangle$
- $||Q\mathbf x||_2=||\mathbf x||_2$
- 置換矩陣 (permutation matrix)：將單位矩陣的欄或列重新排序所形成，為正交矩陣的一種
- 右乘：重新排列欄
- 左乘：重新排列列
- ==若 $A\in\mathbb R^{m\times n}$ 的欄向量組成標準正交集==，則：
- $m\ge n$
- $A^TA=I_n$
- 承上，解正規方程式 $A^TA\hat{\mathbf x} =A^T\mathbf b$ 時，可得 $\hat{\mathbf x}=A^T\mathbf b$
- $m=n$ 時，$A$ 為正交矩陣，$A^{-1}$ 才會存在
- ==投影公式==：若 $S$ 是內積空間 $V$ 的子空間，$\{\mathbf u_1,\dots,\mathbf u_n\}$ 為 $S$ 的**標準正交基底**，向量 $\mathbf b\in V$，則：
- $\langle u_i,u_j\rangle=\begin{cases}1\,,&i=j\\0\,,&i\ne j\end{cases}$
- $\mathbf b$ 在 $S$ 上的投影向量 $\mathbf p=\sum_{i=1}^n\langle\mathbf b\,,\mathbf u_i\rangle\mathbf u_i$
- $\mathbf p-\mathbf b\in S^\perp$
- 令 $U=(\mathbf u_1,\dots,u_n)$，則投影矩陣 $P=UU^T$，$\mathbf p=P\mathbf b=UU^T\mathbf b$

### 5.6 Gram-Schmidt Orthonormalization
內積空間 $V$ 的基底 $\{\mathbf x_1,\dots,\mathbf x_n\}$，將之轉換為標準正交基底 $\{\mathbf u_1,\dots,\mathbf u_n\}$ 的方法：==正交化、正規化==
- $\mathbf u_1=\frac{\mathbf x_1}{||\mathbf x_1||}$
- $\mathbf p_1=\langle\mathbf x_2,\mathbf u_1\rangle\mathbf u_1\;,\;\mathbf u_2=\frac{\mathbf x_2-\mathbf p_1}{||\mathbf x_2-\mathbf p_1||}$
- $\mathbf p_2=\langle\mathbf x_3,\mathbf u_1\rangle\mathbf u_1+\langle\mathbf x_3,\mathbf u_2\rangle\mathbf u_2\;,\;\mathbf u_3=\frac{\mathbf x_3-\mathbf p_2}{||\mathbf x_3-\mathbf p_2||}$
- ...
第n步：$\mathbf p_{n-1}=\sum_{k=1}^{n-1}\langle\mathbf x_n,\mathbf u_k\rangle\mathbf u_k\;,\;\mathbf u_n=\frac{\mathbf x_n-\mathbf p_{n-1}}{||\mathbf x_n-\mathbf p_{n-1}||}$

QR分解
- $A=QR$
- $[\mathbf a_1\;\mathbf a_2\;\cdots\;\mathbf a_n]=[\mathbf u_1\;\mathbf u_2\;\cdots\;\mathbf u_n]
\begin{bmatrix}||\mathbf a_1||&\langle\mathbf a_2,\mathbf u_1\rangle&\cdots&\langle\mathbf a_n,\mathbf u_1\rangle\\
0&||\mathbf a_2-\mathbf p_1||&\cdots&\langle\mathbf a_n,\mathbf u_2\rangle\\
\vdots&\vdots&\ddots&\vdots\\
0&0&\cdots&||\mathbf a_n-\mathbf p_{n-1}||\end{bmatrix}$

若 $A_{m\times n}$，rank(A)=n，則
- 最小平方問題 $A^TA\hat{\mathbf x}=A^T\mathbf b$ 的解 $\hat{\mathbf x}=R^{-1}Q^T\mathbf b$
- $R\hat{\mathbf x}=Q^T\mathbf b$，剛好適合用高斯消去法解x

## ch6 特徵值 (eigenvalue)
### 6.1 特徵值與特徵向量
- 矩陣 $A\in \mathbb R^{n\times n}\,,\,A\mathbf x=\lambda\mathbf x$
- $\lambda$：特徵值
- $\mathbf x$：特徵向量
- $\lambda$ is eigenvalue iff $(A-\lambda I)\mathbf x=0$ 有非零解， $\text{det}(A-\lambda I)=0$；
特徵空間 (eigenspace) $N(A-\lambda I)\ne\{0\}$
- tr(A)=
- det(A)=p(0)
- p(\lambda)
- 相似矩陣有相同特徵值

### 6.2 線性微分方程系統
- $\mathbf Y'(t)=A\mathbf Y(t),\mathbf Y(0)=\mathbf Y_0$
- $\mathbf Y=e^{\lambda t}\mathbf x$
- $\mathbf Y(t)=c_1e^{\lambda_1t}\mathbf x_1+\cdots+c_ne^{\lambda_nt}\mathbf x_n$ (線性獨立的特徵向量做線性組合)
- complex eigenvalue
- 二階：要降階
- $\begin{bmatrix}\mathbf Y'_1\\\mathbf Y'_2\end{bmatrix}=\begin{bmatrix}O&I\\A_1&A_2\end{bmatrix}\begin{bmatrix}\mathbf Y_1\\\mathbf Y_2\end{bmatrix}$

### 6.3 對角化
- 對角矩陣：D
- 可對角化的矩陣A：$X^{-1}AX=D$
- 若n階矩陣A有k個相異特徵值，則對應的k個特徵向量線性獨立。(反向不成立)
- A可對角化=A有n個線性獨立的特徵向量
- 若少於n個，則無法對角化
- $A=XDX^{-1},A^k=XD^kX^{-1}$
- algebraic/geometric multiplicity
- markov chains
- stochastic
- $e^a=\sum_{k=0}^\infty\frac 1{k!}a^k$
- $e^A=...=Xe^DX^{-1}$
- $e^D=...$
- $e^{At}=\sum_{k=0}^\infty\frac 1{k!}t^kA^k$
- $\frac{d}{dt}e^{At}=Ae^{At}$
- $\mathbf Y'(t)=A\mathbf Y(t),\mathbf Y(0)=\mathbf Y_0$
- $\mathbf Y(t)=e^{At}\mathbf Y_0=Xe^{Dt}X^{-1}\mathbf Y_0=Xe^{Dt}\mathbf c$
- $\mathbf Y(0)=X\mathbf c$

### 6.4 Hermitian matrix

### 6.5

### 6.6