``` 112考資工研究所時寫的筆記，有錯歡迎留言指正 內文有引用他人筆記/教材/文章的地方 若有侵權十分抱歉，告知後將立刻撤除 ``` [TOC] --- # 1 矩陣與線性方程組 ## 1-1 矩陣及矩陣運算 1. 矩陣分割(滿簡單，略) - p1-20範例3 2. 共軛轉置conjugate transpose - 定義: $A^T$後，裡面element取共軛, $a_{ij}\rightarrow \overline{a_{ij}}$ - $(A^H)^H=A$ - $(AB)^H=B^HA^H$ - $(\alpha A \pm \beta B)^H=\overline{\alpha}A^H\pm \overline{\beta}B^H$ 3. 轉置transpose - 定義: 略 - $(A^T)^T=A$ - $(AB)^T=B^TA^T$ - $(\alpha A \pm \beta B)^T=\alpha A^T\pm \beta B^T$ 4. 跡數trace - 定義: 對角線元素合 - $tr(\alpha A \pm \beta B)=\alpha tr(A)\pm \beta tr(B)$ - $A \in F^{m \times n}, B \in F^{n \times m}, tr(AB)=tr(BA)$ - 證明: 用sigma把裡面元素操作一下就完成了 - 其他: - $tr(A^T A)=0 \implies A=O$ ## 1-2 反矩陣 - 反矩陣(inverse matrix)=非奇異矩陣(nonsingular matrix) - 只有$n \times n$矩陣存在反矩陣 - $(AB)^{-1}=(B)^{-1}(A)^{-1}$ - $(A_1 \cdot A_2 \cdots A_k)^{-1}=(A_k)^{-1}(A_{k-1})^{-1} \cdots(A_1)^{-1}$ - 證明inverse=某串算式，不是要你求inverse，而是要你把它跟某人相乘得到$I$ - $I$不是$I$，而是$AA^{-1}$ - 求$n \times n$矩陣的inverse, 時間複雜度$=O(n^3)$ - 其他練習: 例17, 18, 精選範例3, 5 ## 1-3 列基本運算 1. elementary row operation - 對矩陣A的三種操作 - 第一型列運算: A的i, j列交換, $r_{ij}(A)$ - 第二型列運算: A的第i列乘k倍，k$\not=0, r_{i}^{(k)}(A)$ - 第三型列運算: A的第i列乘k倍加到第j列，$r_{ij}^{(k)}(A)$ 2. row elementary matrix - 用法和例子看p1-35例22 3. 其他練習: 精選範例4,5 ## 1-4 線性方程組 1. 擴增矩陣 Augmented matrix - $[A|b]$是$Ax=b$的擴增矩陣 2. $Ax=b$有解(unique, infinitely)稱作consistent，否則稱作inconsistent 3. 齊次/非齊次 Homogeneous/nonhomogeneous - $Ax=0$為齊次線性系統，他的解叫做齊次解，且他必有trivial solution **0** - $Ax\not=0$為非齊次線性系統，他的解叫做非齊次解 4. 列梯形型式 row-echelon form (ref) - 所有0列在非0列下方 - 每一列最左邊的非0項愈下方愈靠右 - 每一列最左邊的非0項為1 - 每個矩陣都row equivalent某個唯一row echelon form - 用高斯消去法(Gaussian elimination) 5. 簡化列梯形型式 reduced row echelon form (rref) - 為列梯形型式 - 每一列最左邊非0項所在的行，其他元素為0 - 每個矩陣都row equivalent某個唯一reduced row echelon form - 用Gauss-Jordan消去法(Gauss-Jordan elimination) - <font color=red>考試若規定用某某消去法，一定要做到最後一步</font> 6. 這張有關rank的內容，直接看第四章 7. 其他練習: 精選範例3,5 ## 1-5 可逆矩陣充要條件 - $A,B \in F^{m \times n}, A列等價於B\iff存在可逆矩陣P \in F^{m \times m}使得B=PA$ - Let $A\in F^{n \times n}$,下列敘述等價 1. A is 可逆 (invertible) 2. $Ax=0$只有0解 3. $xA=0$只有0解 4. A(行/列)等價於$I_n$ 5. A是若干(行/列)基本矩陣乘積 6. $A具左反B\in F^{n \times n}，且A^{-1}=B$ 7. $A具右反C\in F^{n \times n}，且A^{-1}=C$ 8. $\forall b \in F^{n \times 1}, Ax=b$有解 9. $\forall b \in F^{1 \times n}, xA=b$有解 10. $\forall b \in F^{n \times 1}, Ax=b$有唯一解 11. $\forall b \in F^{1 \times n}, xA=b$有唯一解 12. $det(A) \not=0$ 13. $rank(A)=dim(RS(A))=dim(CS(A))=n$ 14. $adj(A)$ is invertible 15. $ker(A) = Lker(A)={0}$ 16. A為行/列獨立 17. - 上面證明都滿經典的，最好都做一次 - 其他題目: 精選範例3,4,5 ## 1-6 LU分解 - 定義 $A \in F^{m \times n}, L\in F^{m \times m}$為下三角矩陣, $U \in F^{m \times n}$是樞元(pivot)未必為1的列梯形矩陣，$A=LU$ - 步驟參考p1-76 - ![](https://hackmd.io/_uploads/BkEM6h64n.png) - ![](https://hackmd.io/_uploads/r1oza2642.png) - [reference](https://ccjou.wordpress.com/2010/09/01/lu-%E5%88%86%E8%A7%A3/) - LDU分解: - L, U跟上面一樣，$D\in F^{m \times m}$是對角矩陣 - 步驟: 例p1-81例42 - LU分解求$Ax=b$的解 - let A=LU, so Ax=b-->LUx=b - let Ux=y, then Ly=b - 解Ly=b的y - 解Ux=y的x - $P^TLU$分解: 好像很少考，先不寫 - Permutation matrix: 把$I$的行or列做任意排列，得到的矩陣 - 補充: ==LU分解過程不能做列交換==，因此並非每個矩陣皆可做LU分解 - 其他題目: 精選範例1,2,3 ## 1-7基本行運算 - elementary column operation - 對矩陣A的三種操作 - 第一型行運算: A的i, j行交換, $c_{ij}(A)$ - 第二型行運算: A的第i行乘k倍，k$\not=0, c_{i}^{(k)}(A)$ - 第三型行運算: A的第i行乘k倍加到第j行，$c_{ij}^{(k)}(A)$ - column elementary matrix - 用法和例子看p1-91例46 - 基本運算elementary operation指基本列運算 或 基本行運算 - 基本矩陣elementary matrix指列基本矩陣 或 行基本矩陣 - 其他練習: 精選範例1,2 --- # 2 行列式 ## 2-1 二階行列式 - 定義: $A=\begin{aligned} \begin{pmatrix} a&b\\c&d \end{pmatrix} \end{aligned} \in F^{2 \times 2}$，定義A的行列式Determinant為$ad-bc$ - 計做$\det(A)或|A|$ ## 2-2 高階行列式 1. 定義: 略，反正都會寫。只須注意$A \in F^{1 \times 1}時\det(A)=a_{11}$ 2. 餘因子: 略，會求就好，他就是算古典伴隨矩陣(adj)或反矩陣時會用到的那個咚咚 3. $det(A)=det(A^T)$ 4. 其他練習: 精選範例2,4 ## 2-3 行列式的性質 1. Let $A \in F^{n \times n}, n\geq 2, \ A有兩行or兩列相同,det(A)=0$ 2. Let $A \in F^{n \times n}$ - $det行交換r_{ij}(A)or列交換c_{ij}(A),\ det(A) \rightarrow -det(A)$ - det某行/列乘$k, det(A) \rightarrow kdet(A)$ - 某行/列乘k加上另一行/列，det不變: $det(A) \rightarrow det(A)$ 3. $A,B \in F^{n \times n}, det(AB)=det(A)det(B)$ 4. $det(\alpha A) = \alpha ^n det(A)$ 5. skew-symmetric: $A^T = -A$ 6. If A is invertible, $det(A^{-1})=\frac{1}{det(A)}$ 7. [Vandermonde matrix](https://en.wikipedia.org/wiki/Vandermonde_matrix) 8. $A, B, C\in F^{n \times n}, \begin{aligned} \begin{pmatrix} A&C\\O&B \end{pmatrix} \end{aligned} =\begin{aligned} \begin{pmatrix} A&O\\C&B \end{pmatrix} \end{aligned} =det(A)det(B)$ 8. Upper/Lower triangular matrix's $det(A) = \prod_{i=1}^{n} a_{ii}$ (對角線元素相乘) 9. 其他練習: 精選範例 1,5,11 ## 2-4 古典伴隨矩陣 1. 略，會求就好 2. $A\in F^{n \times n}$ is invertible, $A^{-1}=\frac{1}{det(A)}adj(A)$ 3. $A\in F^{n \times n}$ is invertible, $adj(A)^{-1}=\frac{A}{det(A)}$ 4. $A$ is invertible $\iff adj(A)$ is invertible 5. 克拉瑪公式Cramer's rule (略) 6. 其他練習: p2-46例26, 精選範例5,7 ## 考古 - 通靈題型: 2-59, 2-89, 2-90, 2-108 - 還是有跡可循，觀察乘上的矩陣，都有類似的形狀(對角線為$I$的上or下三角矩陣 - --- # 3 向量空間 ## 3-1 向量空間 - 假設V為非空集合，F為一個體，滿足十大公設，稱V為佈於F的向量空間(vector space)，$\forall u,v,w \in V;\forall \alpha ,\beta \in F$ 1. 唯一存在$u+v \in V$ 2. 唯一存在$\alpha \cdot v \in V$ 3. $u+v=v+u$ 4. $(u+v)+w=u+(v+w)$ 5. $v+0=0+v=v$ 6. $-v \in V, v+(-v)=(-v)+v=0$ 7. $\alpha \cdot(u+v)=\alpha \cdot u+ \alpha \cdot v$ 8. $(\alpha + \beta)\cdot v = \alpha \cdot v + \beta \cdot v$ 9. $(\alpha \beta)\cdot v = \alpha \cdot ( \beta \cdot v)$ 10. $1\cdot v =v$ - 口訣: - 唯一存在(1,2)單位元(5,10) - 加法反(6)交換結合(3,4) - 乘分配交換結合(7,8,9) - 其他練習: 精選範例1,2,3 ## 3-2 子空間 1. 子空間(subspace) - 假設$(V,+,\cdot)$為一個佈於F的向量空間，若W為V的子集且$(W,+,\cdot)$仍為一個佈於F的向量空間，稱W為V的子空間 - V為V的子空間 - {0}稱為零空間(zero space)，為任何向量空間的子空間 - ==證明某subset S是否為子空間(p3-15例5)== 1. 證明零矩陣(零空間)$O$在S中 2. 已知$A, B\in S$，證明$\alpha A + \beta B$在S中 2. 子空間充要條件 - 假設$(V,+,\cdot)$為一個佈於F的向量空間，且$W \subseteq V, W \not= \emptyset$，則 - $(V,+,\cdot)$為$(W,+,\cdot)$的子空間 - $\forall \alpha, \beta \in F, u,v \in W, \alpha u+\beta v\in W$ 3. 子空間必要條件 - 若W為V的子空間 - $0 \in W$ - If $v \in W \implies -v \in W$ 4. V是向量空間且$W_1, W_2$為的子空間，則$W_1 \cap W_2也是V的子空間$ 5. V是向量空間且$W_1, W_2$為的子空間，則 - $W_1 \cup W_2 \implies W_1 \subseteq W_2\ or\ W_2 \subseteq W_1$ 6. 和空間 - 定義: $W_i$皆為V的子空間，定義$W_1,W_2...W_k$的和空間(sum space)$W_1+W_2+...+W_k=\{w_1+w_2+...+w_k|w_i \in W_i, i=1,2,...k\}$ - $W_1, W_2皆為V$的子空間，$W_1 + W_2$為V的子空間 - 四個基本子空間,$A \in F^{n \times m}$ - $CS(A)=\{Ax|x \in F^{n \times 1}\}$, A的行空間 - $RS(A)=\{xA|x \in F^{1 \times m}\}$, A的列空間 - $ker(A)=\{x \in F^{n \times 1}, Ax=0\}$, A的核空間 - $Lker(A)=\{x \in F^{1 \times m}, xA=0\}$, A的左核空間 - A列等價於B - $RS(A)=RS(B)$ - $ker(A)=ker(B)$ - A行等價於B - $CS(A)=CS(B)$ - $Lker(A)=Lker(B)$ <!-- - 注意以下例子，$W_1, W_2皆為V$的子空間，$W_1 \cap W_2$不一定是V的子空間 - --> - 其他練習: p3-16例6, p3-17例7, p3-19定理3-4 ## 3-3 生成與線性獨立 1. 線性組合(略) 2. 生成空間span - $S \subseteq V, span(S)=\{v|v為S的一個線性組合\}$ - $span(\phi)=\{0\}$ 3. 線性獨立集 - $\forall v_1, v_2,...v_k \in V, if\ \alpha_1 v_1,\alpha_2 v_2,...\alpha_k v_k=0$則$\alpha_1=\alpha_2=...=\alpha_k=0$ 4. 線性相依集 - $v_1, v_2,...v_k \in V,$存在有限個不全為0的純量$\alpha_1,\alpha_2,...\alpha_k \in F$使得$\alpha_1 v_1,\alpha_2 v_2,...\alpha_k v_k=0$ 5. [Wronskian](https://en.wikipedia.org/wiki/Wronskian) 最好直接看課本 - 算出來W後，求W(x)=det(W) - $W(x)=0\ \forall x \in [a,b]\implies$ linear dependent - $W(0)\not= 0\ \exists x \in [a,b] \implies$ linear independent - 其他練習: 例15,25,26,27, 精選範例4,8,9 ## 3-4 基底與維度 1. 基底basis - 定義: 滿足以下量條件，稱$\beta$為V的一組基底，$\beta$的元素個數稱為V的維度dimension - $\beta生成V，即span(\beta)=V$ - $\beta為線性獨立集$ 2. S為V的基底$\iff$S為最小生成集$\iff$S為最大獨立集 3. $dim(W_1+W_2)=dim(W_1)+dim(W_2)-dim(W_1 \cap W_2)$ - 其他練習: 例31,33,40,42 推廣3-4, 精選範例2,6,12,13 ## 3-5 直和 1. 獨立子空間 - $W_1, W_2, ...W_k為V$的子空間，若$W_1\cap W_2\cap ...W_k=\{0\}$，稱$W_1, W_2, ...W_k$為獨立子空間 2. $W_1, W_2, ...W_k$為獨立子空間 - $\iff if\ w_1+ w_2+ ...w_k=0,\ then\ w_1=w_2=...w_k=0, w_i \in W_i.$ - $\iff dim(W_1+ W_2+ ...W_k)=dim(W_1)+dim(W_2)+...dim(W_k)$ 3. 直和 direct sum - 滿足下列兩條件($W_1, W_2, ...W_k為V的子空間$) - $V=W_1+W_2+...W_k$ - $W_1, W_2, ...W_k$為獨立子空間 - 記做$V=W_1 \oplus W_2\oplus ... W_k$ ## 3-6 Lagrange內插法 偏少考，自己看課本 --- # 4 線性映射 ## 4-1 線性映射 1. 線性轉換/映射Linear transformation/mapping - $\forall u,v \in V, T(u+v)=T(u)+T(v)$ - $\forall \alpha \in V, T(\alpha v)=\alpha T(v)$ 2. 線性映射充要條件 - $\forall \alpha, \beta \in F, u,v \in V, T(\alpha u+\beta v)=\alpha T(u)+\beta T(v)$ - 證明是否為線性映射，用這個方法比較快 - p4-6例5, 3. 線性映射必要條件 - $T(0)=0$ - $\forall v \in V, T(-v)=-T(v)$ - $\forall u,v \in V, T(u-v)=T(u)-T(v)$ - 必要條件: 線性映射一定有這些性質，但有這些性質不一定線性映射! - p4-7例7, p4-22範例2 4. 矩陣形狀變換 以下都是乘在欲變換之矩陣的左邊!!! - 旋轉rotation 沿著該軸逆時針轉$\theta$度，沿著的軸為1 ex. counterclockwise about z-axis $\begin{aligned} \begin{pmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \\ \end{pmatrix} \end{aligned}$ - 鏡射reflection 沒提到的向量軸為-1，其他為1 ex. reflection to/about yz-plane $\begin{aligned} \begin{pmatrix} -1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{pmatrix} \end{aligned}$ - 投影projection 沒提到的那個軸被銷掉，乘0，其他為1 ex. project onto xy-plane $\begin{aligned} \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \\ \end{pmatrix} \end{aligned}$ - 擴張/收縮dilation/Squeezing 被收縮的向量乘k ex. dilation of factor 3 $\begin{aligned} \begin{pmatrix} 3 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 3 \\ \end{pmatrix} \end{aligned}$ - 平移translation 二維的平移需用三維矩陣，n維的平移需用n+1維矩陣。位移量在最右行 ex. translation $[2\ \ 3]^T$ $\begin{aligned} \begin{pmatrix} 1 & 0 & 2 \\ 0 & 1 & 3 \\ 0 & 0 & 1 \\ \end{pmatrix} \end{aligned}$ - p4-23範例5, 範例10 5. 其他練習: 精選範例1,3,9 ## 4-2 座標化 1. 座標向量 - 定義: 把某向量轉到另一個向量空間後，用該向量空間的係數表示此向量$x=\begin{bmatrix} \alpha_1 \\ \alpha_2 \\ \vdots \\ \alpha_n \\ \end{bmatrix}$ 2. 本節重點: 定理4-5 - $\forall {\bf a,b} \in F,{\bf u,v} \in V,[au+bv]_{\beta} = a[u]_{\beta}+b[v]_{\beta}$ - $u=v \iff [u]_{\beta}=[v]_{\beta}$ - $\forall x \in F^{n \times 1}$, 唯一存在$v \in V$使得$[v]_{\beta}=x$ 3. 同構(isomorphic) - 定義: T: V--> V' - T為線性映射 - T為1-to-1 function - T為onto function - T稱作V至V'的線性同構函數，稱V與V'同構，$V \cong V'$ 4. $同維\iff 同構 \iff 等價關係(equivalence)$ 5. $從\beta=\{u_1, u_2,\cdots u_n\}轉到\gamma=\{v_1, v_2,\cdots v_n\}$的座標轉換矩陣(change of coordinate matrix)記做$[I]^{\gamma}_{\beta}$ 6. 定理4-8超重要，但自己看我懶得打 - 其他練習: 例20,22,24，精選範例3,5 ## 4-3 矩陣表示法與換底公式 - 比較4-2, 4-3: - 4-2轉移矩陣(transition matrix)為<font color=red>$[I]^{A}_{B}$，必定為$n \times n$</font> - 像形容詞，上例中形容B的單位矩陣，在A空間中長什麼樣子(A, B必同維) - 4-3相對於$\beta及\gamma$的矩陣表示法(matrix representation of T relative to $\beta$ and $\gamma$)，為<font color=red>$[T]^{\gamma}_{\beta}$，可為$n \times m$</font> - 像動詞，把他乘在$\beta$空間的矩陣左邊，就是把原本$\beta$空間的向量變成$\gamma$空間的形狀 1. 同空間的換底公式 - $[T]^{\gamma}_{\gamma} = [I]^{\gamma}_{\beta} [T]^{\beta}_{\beta} [I]^{\beta}_{\gamma}$ - 其中$[T]^{\gamma}_{\gamma}$常被簡寫為$[T]_{\gamma}$ 2. 不同空間的換底公式 - $[T]^{\gamma '}_{\gamma} = [I]^{\gamma '}_{\beta '} [T]^{\beta '}_{\beta} [I]^{\beta}_{\gamma}$ - 其他練習: 例28,30, 精選範例6,7,8,10 ## 4-4 核空間與像集 - 直像 direct image - $T(S)=\{T(v)|\ v\in S\}$ - 反像 inverse image - $T^{-1}(S')=\{v\in V|\ T(v)\in S'\}$ - 核空間 **kernel space = null space** - $ker(T)=\{ v \in V |\ T(v)=0\}$ - 可記做ker(T)或N(T) - 像 **range = image** - $R(T)=T(V)=\{T(v)|\ v \in V\}$ - 可記做R(T), Im(T)或Range(T) - 核數 nullity - $nullity=\dim(\ker(T))$ - 秩 rank - $rank(T) = \dim(R(T))$ - 維度定理 - Let $T \in \mathcal{L}(V,V'),$ - $\dim(ker(T)) + \dim(R(T)) = nullity(T) + rank(T)=\dim(V)$ - $T \in \mathcal{L}(V,V')$ - T 是一對一函數 $\iff \ker(T)={0}$ - 若T是一對一函數$\implies \dim(V) \le \dim(V')$ - 若T是映成函數，$\implies \dim(V) \ge \dim(V')$ - 若T是一對一且映成函數，$\implies \dim(V) = \dim(V')$ - A為一對一函數 - $\iff N(T)=N(A)=\{0\}$ - $\iff Ax=0$只有零解 (或其他有關invertible的描述) - $\iff$A為行獨立 - $\iff$A保獨立(某子集獨立，經過A轉換仍為獨立) - A為映成函數 - $\iff R(T)=R(A)=F^{m \times 1}$ - $\iff$行生成$F^{m \times 1}$ - $\iff$A保生成(生成集，經過A轉換仍為生成集) - $A \in F^{m \times n}$ - $rank(A)+nullity(A)=n$ - $rank(A^{T})+nullity(A^{T})=m$ - 面積，體積 - A=[a1,a2], 為2*3矩陣，由a1, a2圍出來的平行四邊形面積為$|det(A)|$ - A=[a1,a2,a3], 為3*3矩陣，由a1, a2, a3圍出來的平行六面體體積為$|det(A)|$ - 原空間S上的面積/體積為r，經過A矩陣線性變換後 - S為平行四邊形，T(S)面積為$r|det(A)|$ - S為平行六面體，T(S)體積為$r|det(A)|$ - 行獨立 $\nrightarrow$ 列獨立，行獨立 $\nleftarrow$ 列獨立 - 行相依 $\nrightarrow$ 列相依，行相依 $\nleftarrow$ 列相依 - 求行空間用行銷去；求列空間用列銷去，!!!用反會出事!!! - 寫題目時，需特別清楚以下答案寫法(表示法) - basis for ker/range of T - ker/range of T - 尤其是題目牽扯多項式時，很容易錯，需多寫題目孰悉 - 其他練習: 例33,34,35, 精選範例1,4,6,7,13 (最好精選範例全寫) ## 4-5 矩陣的秩 - $行秩rr(A)=dim(RS(A))，列秩cr(A)=dim(CS(A))$ - if $rr(A)=cr(A)， rank(A)=rr(A)=cr(A)$ - 維度定理(另一種表示法) - $A \in F^{m \times n}$ - $rank(A)+nullity(A)=n$ - $rank(AB) \leq min\{rank(A), rank(B)\}$ - $rank(A+B) \leq rank(A) + rank(B)$ - $A \in F^{m \times n}有左反矩陣\iff$ - $rank(A)=n$ - $dim(RS(A))=n$ - $dim(CS(A))=n$ - $A為行獨立$ - $A列生成F^{1 \times n}$ - $A \in F^{m \times n}有右反矩陣\iff$ - $rank(A)=m$ - $dim(RS(A))=m$ - $dim(CS(A))=m$ - $A為列獨立$ - $A行生成F^{m \times 1}$ ## 4-6 線性映射的合成與可逆 - $[T+U]^{\gamma}_{\beta}=[T]^{\gamma}_{\beta}+[U]^{\gamma}_{\beta}$ - $[\alpha T]^{\gamma}_{\beta} = \alpha [T]^{\gamma}_{\beta}$ - $[TU]^{\omega}_{\beta}=[T]^{\omega}_{\gamma}[U]^{\gamma}_{\beta}$ - 都是早就知道的東西 - 其他練習: 精選範例2 ## 4-7 對偶空間與零化集 整張skip(資工系不用管) # 5 對角化及其應用 ## 5-1 相似性 - $A, B \in F^{n \times n}, 若存在P \in F^{n \times n}使得P^{-1}AP = B, 稱B相似於A，計做A \sim B$ - A相似於B 跟 B相似於A，順序不是很重要，反正是iff的關係 - $\sim$ 是一個等價關係 - A~A - A~B ---> B~A - A~B and A~C ---> A~C - 換底公式、對角化有相似的關係 - $A\sim B \implies$ - tr(A)=tr(B) - det(A)=det(B) - rank(A)=rank(B) - nullity(A)=nullity(B) - 其他練習: 例2, 精選範例4 ## 5-2 不變子空間 - 不變子空間 - $T \in \mathcal{L}(V,V)$, 若$w \in W \implies T(w) \in W$，W為T-invariant subspace - $T \in \mathcal{L}(V,V)$ - {0}, V, ker(T), Im(T)皆為T不變子空間 - 知道這樣就夠了，其他都看不太懂QQ(資工似乎少考) ## 5-3 特徵根及特徵向量 - $A \in F^{n \times n}, \lambda \in F$，若存在$x \in F^{n \times 1}, x \neq 0$使得$Ax=\lambda x$ - $\lambda$: 特徵根 - $x$: 特徵根 - $\lambda$為A的特徵根$\iff det(A-\lambda I)=0$ - 特徵多項式 characteristic polynomial - $p(x)=det(A - xI)=char_A(x)$ - 不可先將A做列運算到上三角矩陣在計算特徵根，因為列運算不保證特徵根不變 - If $A \sim B, \implies$ - $p_A(x)=p_B(x) \iff det(A-\lambda I) = det(B-\lambda I)$ - A, B具有相同特徵根 - !!!A, B<font color=red>**未必**</font>具有相同特徵向量!!! - $A,B \in F^{n \times n}$，AB和BA有相同特徵根 - A為可逆矩陣 $\iff$ 0不為A的特徵根 - A為不可逆矩陣 $\iff$ 0是A的特徵根 - A & A^T^有相同特徵根，但未必有相同特徵向量 - If $Ax=\lambda x$ - A為可逆矩陣，則$\frac{1}{\lambda}為A^{-1}$相對於x的特徵根 - $\forall m \in N, \lambda ^m 為A^m$相對於x的特徵根 - $1 + \lambda$ is an eigenvalue of $I+A$ - (I+A)x=Ix+Ax=1x+Ax=1x+λx=(1+λ)x - $A, B \in F^{n \times n}$(定理5-13) - AB和BA有一樣的特徵根(特徵方程式) - A, B不為方陣時，AB, BA有相同非零特徵根 - 應用: - ![](https://hackmd.io/_uploads/H1VEa36En.png) - 爆開$A^TA$算特徵根-->算到世界末日 - 正解: 先求$AA^T$特徵根，剩下的補0 - ($AA^T$最多只會求出兩個非零特徵根，但$A^TA$有三個) - 其他練習: 例14, 17, 22, 23, 28, 精選範例4, 5, 10, 11 ## 5-4 對角化 - 可對角化 Diagonalizable - $A \in F^{n \times n}$，若存在一可逆矩陣$P \in F^{n \times n}$使得$P^{-1}AP=D$為對角矩陣，稱A可對角化 - Defective matrix: 不可對角化的矩陣(少於n個線性獨立特徵向量) - 代數重數 algebraic multiplicity - 特徵根$\lambda$的重根數，計做$am(\lambda)$ - 幾何重數 - $dim(V(\lambda)) = gm(\lambda)=n - rank(A-\lambda I)$ - 詳細過程見p.5-60 - $gm(\lambda) \leq am(\lambda)$ - If $p_A(x)可分解成p_A(x)=(\lambda _1 - x)(\lambda _2 - x)...(\lambda_n - x)$ - $det(A) = \lambda_1 \lambda_2 ... \lambda_n$(含重根) - $tr(A) = \lambda_1 + \lambda_2 +...+ \lambda_n$(含重根) - 例38，對角線為a，其他值皆為b的n*n矩陣 - ![](https://hackmd.io/_uploads/SJZSphpE2.png) - 超重要，直接背兩個特徵根和對應的特徵向量 - 特徵根對應特徵向量: - $\lambda _1 = a-b$，特徵向量 $span \Biggl\{ \begin{equation} \begin{bmatrix} 1 \\ -1 \\ 0 \\ 0 \\ \end{bmatrix} \begin{bmatrix} 1 \\ 0 \\ -1 \\ 0 \\ \end{bmatrix} \begin{bmatrix} 1 \\ 0 \\ 0 \\ -1 \\ \end{bmatrix} \Biggl\} \end{equation}$ - $\lambda _2 = 第一行的合=a+b(n-1)$，特徵向量$span \Biggl\{ \begin{equation} \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \\ \end{bmatrix} \Biggl\} \end{equation}$ - 可對角化充要條件 - A有n個線性獨立特徵向量 - $p_A(x)$可分解且所有eigenvalue皆滿足$gm(\lambda) = am(\lambda)$ - 可同步對角化 Simultaneously diagonalizable - If $A, B \in F^{n \times n}$，A, B皆可對角化 - A, B可同步對角化 $\iff$ AB=BA - 其他練習: 例29, 30, 31, 35, 37, 39, 42, 45, 47, 範例3, 5, 7, 10, 11 ## 5-5 冪等算子與矩陣 - 冪等矩陣 idempotent matrix = 投影矩陣 projection matrix - $A \in F^{n \times n}$，$A^2 = A$ - 其他證明的部分沒有很懂，應該記定義就好了(吧 - 其他練習: 精選範例4 ## 5-6 對角化的應用 - $f(A)=Pf(D)P^{-1}$ - 二階矩陣的$p_A(x) = x^2 - tr(A) x+ \det(A)$ - 推導: Let $p_A(x) = (x-\lambda_1)(x-\lambda_2)=x^2 - (\lambda_1+\lambda_2) x+ \lambda_1 \lambda_2$ - 三階矩陣的$p_A(x) = x^3 - tr(A) x^2+ (\lambda_1 \lambda_2+\lambda_2 \lambda_3+\lambda_1 \lambda_3)x - \det(A)$ </br>　　　　　　　　$= x^3 - tr_1(A) x^2+ tr_2(A)x - tr_3(A)$ - where $tr_1(A)$為一般的trace - $tr_2(A)$: 對角線上任兩個元素，為2\*2行列式的對角元素，把所有可能行列式相加 - ![](https://hackmd.io/_uploads/S1nBT2a43.png =60%x) - ![](https://hackmd.io/_uploads/Hk6IanaEn.png =25%x) - 圖為102台大數學 - $tr_3(A)$: 符合條件的3\*3行列式的和，在上例中就是det(A)，A為3\*3 - 推導類似二階 - 題型: - 解微方(難!) - 解遞迴 (用離散的線性解比較快!) - 解高次矩陣 - 一定要練過題目 - 其他練習: 例57, 60, 62, 64 ## 5-7 特徵根的近似解法 skip ## 5-8 Markov 鍊 - 每行的機率必為1 - 狀態向量合必為1 - 所有$\lambda \leq 1$，且必存在$\lambda = 1$ - 穩定狀態向量: Px=x，可對角化且$\lambda = 1$ - 此時的$v(1)=ker(\lambda -1)=x$即為穩定狀態 - 定理5-42和下面的例79 一定要做 - 難以言傳，務必寫過題目 - 其他練習: 精選範例2, 6 # 6 Jordan型及其應用 ## 6-1 冪零算子 - 冪零算子/矩陣 - 算子的部分是T，跳過 - $A \in F^{n \times n}$, 若存在正整數k使得$A^k=O$，則A稱為冪零矩陣，最小正整數k稱為A的指標index ## 6-2 循環子空間及循環分解 skip ## 6-3 Jordan型 - p6-40前面放掉... - 會用就好 - 記得J從左上到右下，要按am($\lambda$)來排序(大到小) - 其他練習: 例18, 精選範例4 ## 6-4 Caylay Hamilton定理及其應用 - 理論基礎薄弱，我也只會做題目，台大偶爾會考題10分的嚇人 - 理論上都找的到不用這個定理的解法(爆破or觀察) - 找$A^{-1}$ or 無法對角化的矩陣高次 很好用 - 其他練習: 例22, 23, 29精選範例9, 10 ## 6-5 Jordan型的應用 - 用途: 無法對角化的矩陣A，求$A^n$ - 課本寫的滿清楚的，我懶得打XD - 看到四階(含)以上的矩陣求$A^n$或$P$，不論是用對角化or用Jordan，需評估一下值不值得硬幹(不信的話挑戰精選範例4) - 其他練習: 例30, 31, 32 ## 6-6 極小多項式 - Minimal polynomial 1. $\deg(f(x)) \geq 1$，且f(x)最高項係數=1，稱作monic polynomial 2. $f(A) = O$ 3. 對任意多項式g(x)滿足$g(T)=O$，$deg(f(x)) \leq deg(g(x))$ - Example - $p_A(x) =\det(A-xI) = (x-2)(x-3)^3$ - $m_A(x) \in \{(x-2)(x-3), (x-2)(x-3)^2, (x-2)(x-3)^3\}$ - 然後就從m~A~(x)中，次方最小的開始try，第一個為$O$的就是極小多項式 - 長的很像Cayley-Hamilton的應用，極小多項式的次方通常比特徵多項式小，要慢慢try - 例39, 40, 41, 精選範例4, 10 # 7 內積空間 ## 7-1 內積 - 內積 Inner product - $\forall u,v,w \in V, <u+v,w>\ =\ <u,w>+<v,w>$ - $\forall u,v \in V, \alpha \in F, <\alpha u, v> = \alpha<u,v>$ - $\forall u,v \in V, <u,v> = \overline{<v,u>}$ - $\forall v \in V, v \neq 0, <v,v>\ >\ 0$(大於0) - 長度 norm - 定義向量長度為$||v|| = \sqrt{<v,v>}$ - 柯西不等式 Cauchy-Schwarz inequality - $|<u,v>| \leq ||u||\ ||v||$ - 三角不等式 triangle inequality - $||u+v|| \leq ||u||+||v||$ - 畢氏定理 pythagorean theorem - if $u \perp v, ||u+v||^2=||u||^2+||v||^2$ - 單範正交集 Orthonormal set - $\forall u,v \in S, u \neq v, ||u||=||v||=1, <u,v>=0$ - 其他練習: 例1, 3, 5, 10, 15, 精選範例2, 4, 6, 12 ## 7-2 Gram-schmidt正交化及QR分解 - $S=\{v_1, v_2, v_3...\}$為內積空間，且$v \in S$，可以把v表示成S中向量的線性組合 - $v=\displaystyle\frac{<v,v_1>}{<v_1,v_1>} v_1 + \frac{<v,v_2>}{<v_2,v_2>} v_2 + \frac{<v,v_3>}{<v_3,v_3>} v_3\ +\ ...$ - Gram-schmidt 正交化過程 - 直接看例24 - QR分解 - 直接看例32 - 題型沒啥變化，但**極容易計算錯誤**，務必小心寫 - 其他練習: 例26, 28, 30, 31, 34 ## 7-3 正交投影 - V為內積空間，W為V的子空間，$\beta=\{v_1, v_2, ...v_k\}$為W的一組==正交基底==，$v \in V$ - 正交向量唯一存在，記做$proj_w v$ - $proj_w v =\displaystyle\sum_{i=1}^{k} \frac{<v,v_i>}{<v_i,v_i>} v_i$ (正交投影公式) - Hermitian matrix - $A^H$: 對實係數矩陣來說就是$A^T$ - $ker(A^H A) = ker(A)$ - $rank(A^H A) = rank(A)$ - $A \in F^{m \times n}$行獨立，$W=R(A),b \in F^{m \times 1}$，則 - $proj_w b = A(A^H A)^{-1}A^H b$ - 其中$A(A^H A)^{-1}A^H$被稱作正交投影向量orthogonal projection matrix - $x \in F^{n \times 1}$使$||Ax-b||$最小$\iff A^HAx = A^H b$ (normal equation) - normal equation $A^HAx = A^H b$必定有解 - A為行獨立，唯一解；否則x有無限多解 - x稱為最小平方解 (Least square solution) - [比較](http://zjhwang.blogspot.com/2012/07/blog-post_31.html)兩個投影公式 - $proj_w v =\displaystyle\sum_{i=1}^{k} \frac{<v,v_i>}{<v_i,v_i>} v_i$ - 可用時機: W需為正交基底 - $proj_A b = A(A^H A)^{-1}A^H b$ - 可用時機: A為行獨立，且只能用於歐氏空間和標準內積 - 最小平方直線 - 見例51 - A=QR為A的QR分解 - $x \in F^{n \times 1}$使$||Ax-b||$最小$\iff Rx=Q^H b$ - 其他練習: 例35, 37, 38, 39, 42, 46, 49, 精選範例16 ## 7-4 正交補空間 - $S \subseteq V, 定義S^{\perp}=\{v \in V| <v,s>=0, \forall s \in S\}$ - 不懂看例56 - V為內積空間，W為V的子空間 - $dim(V) = dim(W)+dim(W^{\perp})$ - $W^{\perp \perp} = W$ - V為內積空間，W為V的子空間，P為V在W上的正交投影算子，則 - $v-P(v)為v在W^{\perp}$上的正交投影向量，即$proj_{W^{\perp}}v = v - proj_W v$ - $I-P$為V在$W^{\perp}$上的正交投影算子 - $proj_{W^{\perp}}v = v - proj_W v = v-Pv = (I-P)v$ - $R(A^{T}) = N(A^{\perp})$ --->可以想成T翻進去變倒的，N變R，R變N - 以下三個也成立 - $R(A^{T})^{\perp} = N(A)$ - $R(A)^{\perp} = N(A^{T})$ - $N(A^{T})^{\perp} = R(A)$ - 極小解 Minimal solution - $Ax=b$的極小解，令為s，則對其他滿足$Ax=b$的解u，$||s||\leq ||u||$ - 先解$AA^T x = b$ - 取x為某一解，則$A^T x$為極小解 - 點到面距離(例64) - 另解: $點P(x_0,y_0,z_0)到E:ax+by+cz+d=0$的距離 - $d=\displaystyle \frac{|ax_0+by_0+cz_0+d|}{\sqrt{a^2+b^2+c^2}}$ - 面到面距離(例65) - 另解: $E_1:ax+by+cz+d_1到E_2:ax+by+cz+d_2=0$的距離 - $d=\displaystyle \frac{|d_1-d_2|}{\sqrt{a^2+b^2+c^2}}$ - 這張非常抽象，一定要練習 - 其他練習: 例56, 63, 64, 65, 68, 69 ## 投影公式整理 - $proj_A b = A(A^H A)^{-1}A^H b$ - 最小平方解 - ($A^HAx=A^Hb$)的解 - ($Ax=proj_Ab$)的解 - 極小解 - 先解$AA^T u = b$ - 再解$s=A^Tu$ # 8 內積上的算子及應用 ## 8-1 伴隨算子 - 伴隨算子 $T^*$ adjoint operator - $T \in \mathcal{L}(V,V'),$若存在$T^*: V\rightarrow V$為線性映射使得$<T(u),v>=<u,T^*(v)>, \forall u,v \in V$ - 唯一存在 - $\beta = \{v_1, v_2 ...v_n\}$為V的一組單範正交(orthonormal)基底 - $[T^*]_{\beta} = [T^*]_{\beta}^{H}$，這邊H是矩陣取Hermitian matrix - A **commute** with B - $AB = BA$ - 其他練習: 精選範例2,3 ## 8-2 正規算子與矩陣 - 正規算子 normal operator - $T^*T=TT^*$ - 正規矩陣 normal matrix - $A^H A=A A^H$ - $\lambda_1, \lambda_2$是兩個相異特徵根，且v1, v2為對應特徵向量，則$v_1 \perp v_2$ - 自伴算子 self-adjoint operator - $T^* = T$ - 斜自伴算子 skew self-adjoint operator - $T^* = -T$ - [Conjugate transpose](https://en.wikipedia.org/wiki/Conjugate_transpose) - $A^H = (\overline{A})^T = \overline{A^T}$ - A的元素階為實數$\implies A^H = A^T$ - Hermitian matrix - $A^H = A$ - A為正規矩陣 - A的特徵根階為實數 - A的相異特徵根對應的特徵向量必正交 - A的主對角線元素階為實數 - skew-Hermitian matrix - $A^H = -A$ - A為正規矩陣 - A的特徵根階為0或虛數 - A的相異特徵根對應的特徵向量必正交 - A的主對角線元素階為0或虛數 - symmetric matrix - $A^T = A$ - 適用hermitian matrix 的所有性質 - skew-symmetric matrix - $A^T = -A$ - 適用skew-hermitian matrix 的所有性質 - 么正矩陣 unitary matrix - $A \in C^{n \times n}, A^H A = I$ - A為正規矩陣 - A的特徵根滿足$|\lambda|=1$ - A的相異特徵根對應的特徵向量必為正交 - $|\det(A)| = 1$ - 正交矩陣 orthogonal matrix - $A \in R^{n \times n}, A^T A = I$ - A為正規矩陣 - A的特徵根滿足$\lambda=\pm 1$ - A的相異特徵根對應的特徵向量必為正交 - $\det(A) = \pm 1$ - $\forall A \in R^{m \times n}$ - $AA^T和A^T A$都必為symmetric，而symmetric可正交對角化，因此$AA^T和A^T A$都可正交對角化 - $AA^T和A^T A$皆必為半正定 - 其他練習: 精選範例5 ## 8-3 么正及正交算子的特性 - 好像只有最後兩頁是資工會的 - $A \in C^{n \times n} (A \in R^{n \times n})$，下列敘述等價 - A為么正矩陣 (A為正交矩陣) - $A^H A = I$, $(A^T A = I)$ - A的行向量形成單範正交集 - A的列向量形成單範正交集 - 其他練習: 例12, 精選範例2,3,4 ## 8-4 雙線性式與半雙線性式 skip ## 8-5 正定及正半定算子與矩陣 - 也是有看沒有懂 - 二次式 quadratic form - $Q(x)=x^HAx$ - 假設$A \in F^{n \times n}, Q(x) = x^H A x$為A的二次式 - 正定 (positive definite form): $Q(x) > 0, \forall x \neq 0$ - 正伴定 (positive semidefinite form): $Q(x) \geq 0, \forall x$ - 負定 (negative definite form): $Q(x) < 0, \forall x \neq 0$ - 負半定 (negative semidefinite form): $Q(x) \leq 0, \forall x$ - 不定型 (indefinite form): $Q(x)$可能的值有正也有負 - 其他練習: 例19 ## 8-6 么正及正交對角化 - $A,B \in C^{n \times n}, P^H AP = B, 其中P \in C^{n \times n}$為么正矩陣 - 稱為A與B么正相似 (unitarily similar) - 或稱A與B么正等價 (unitarily equivalent) - $A,B \in R^{n \times n}, P^H AP = B, 其中P \in R^{n \times n}$為正交矩陣 - 稱為A與B正交相似 (orthogonally similar) - 或稱A與B正交等價 (orthogonally equivalent) - Schur's 定理 - 假設$A \in C^{n \times n}(R^{n \times n}),$ 存在么正矩陣(正交矩陣)$P \in C^{n \times n}(R^{n \times n})使得P^TAP$為上三角矩陣 - A可么正對角化$\iff AA^T = A^T A$ (A為正規矩陣) - A可正交對角化$\iff A = A^T$ (A為對稱矩陣) - 題型 - Unitary (Orthogonal) matrix P s.t $D=P^TAP (D=P^{-1}AP)$ - 例26, 27, 精選範例2~7，十題裡面八題都這樣考!!! - 光譜分解 spectral decomposition - 例29, 30 ## 8-7 正定及正半定矩陣的特性 - 正定 positive definite - $\Delta_k(A)$是A的主子行列式 Principal minors - 從左上角開始的正方形小矩陣取det(A'), A'從$1 \times 1, 2\times 2 ...取到n\times n$ - 自己看課本p8-83 - $A \in R^{n \times n}$為對稱矩陣 - A為正定$\iff$ A所有特徵根皆為正 $\iff \Delta_k(A)>0, \forall k = 1,2,...n$ - 若A不為對稱矩陣，不能直接從特徵根或$\Delta_k(A)$判斷 - $Q(x)=x^HAx=x^HBx$找到對稱的B，再從B的特徵根或$\Delta_k(A)$判斷 - 參見p8-51注意事項8-18 - 例32,33,34, 精選範例2 - $A \in C^{n \times n}$且A為Hermitian矩陣 - A為正定(positive definite)$\iff$A的所有特徵根皆為正 - A為半正定(positive semidefinite)$\iff$A的所有特徵根皆為非負 - A為負定(negative definite)$\iff$A的所有特徵根皆為負 - A為半負定(negative semidefinite)$\iff$A的所有特徵根皆為非正 - 精選範例3,4 - Cholesky分解 - 分解$A=LL^T$，其中A為正定矩陣，L為下三角矩陣且對角元素皆為正 - 兩種方法: 1. A作LU分解後推得(例36) 2. A作正交對角化，得$A=PDP^H$後推得(例38) - 若A為正半定，能用法2算出$A=BB^H$ (例39) - 和[LU分解](#1-6-LU分解)做比較 - LU分解的對角線沒有限制，Cholesky的限制對角線元素要為正 - 其他練習: 精選範例5,6,7 ## 8-8 二次式的應用 - 兩種題型 - 題型一: 二次式座標轉換 - $q(x,y)=x^TAx轉換成x^TPDP^Tx=(P^Tx)^TD(P^Tx)=y^TDy$ - 會發現其中y是轉換過的新座標(x',y')，且$y=P^Tx$, 其中$P^T$是旋轉矩陣 - 即$P^T = \begin{aligned} \begin{pmatrix} \cos\theta & -\sin\theta\\ \sin\theta & \cos\theta \\ \end{pmatrix} \end{aligned}$ - 一定要看例41, 42, 43 - 題型二: 二次式的最大、最小值 (Rayleigh principle) - Rayleigh principle - 最大值為最大的eigenvalue，發生在對應的eigenvector - 最小值為最小的eigenvalue，發生在對應的eigenvector - 例45, 46, 47, 精選範例5, 12 - 其他練習: 例41, 42 ## 8-9 矩陣的長度及條件數 - 矩陣長度 - 滿足條件的函數都可稱該運算為矩陣長度 matrix norm - 4條件: - $||A|| \geq 0 且 ||A|| = 0 \iff A = O$ - $||\alpha A|| = |\alpha|\ ||A||$ - $||A+B|| \leq ||A||+||B||$ 三角不等式 - $||AC|| \leq ||A||\ ||C||$ 柯西不等式 - Frobenius長度 - 矩陣中每個元素的平方合開根號, 寫作$||A||_F$ - ex. $A = \begin{aligned} \begin{pmatrix} 1 & 2\\ 4 & -3\\ \end{pmatrix} \end{aligned}$, $||A||_F = \sqrt{1^2 + 2^2+ 4^2+ (-3)^2} = \sqrt{30}$ - 算子長度 operator norm - 1-norm $||A||_1$ - 每行元素取絕對值的合，最大的即為$||A||_1$ - 2-norm $||A||_2$ - $A^TA$的最大eigenvalue $\lambda_{max}$開根號$=\sqrt{\lambda_{max}(A^TA)}$ - $\infty$-norm $||A||_{\infty}$ - 每列元素取絕對值的合，最大的即為$||A||_{\infty}$ - 條件數 cond(A) - $\displaystyle cond_1(A) = ||A||_1 \cdot||A^{-1}||_1$ - $\displaystyle cond_2(A) = ||A||_2 \cdot||A^{-1}||_2 = \frac{|\lambda_{max}|} {|\lambda_{min}|}$ - $\displaystyle cond_{\infty}(A) = ||A||_{\infty} \cdot||A^{-1}||_{\infty}$ - 其他練習: 例51, 53, 精選範例2 ## 8-10 Householder轉換 - Householder 矩陣 - $u \in R^{n \times 1},\ ||u|| =1, H = I - 2uu^T$ - H為對稱矩陣, 即$H^T = H$ - H為正交矩陣, 即$H^T = H^{-1}$ - 因此$H = H^T = H^{-1}$ - H只存在兩個特徵根: $1,\ -1$ - $gm(-1)=1$ - $gm(1)=n-1$ - 因此$tr(H)= sum\ of\ \lambda= -1 \cdot 1 + 1(n-1) = n - 2$ - H可逆, 所以$rank(H)=n$ - 單位法向量$u$ - 直線$ax+by=0\ (或等於其他常數)$ - $\displaystyle u=\frac{1}{\sqrt{a^2+b^2}} \begin{bmatrix} a \\ b \\ \end{bmatrix}$ - 平面$ax+by+cz=0\ (或等於其他常數)$ - $\displaystyle u=\frac{1}{\sqrt{a^2+b^2+c^2}} \begin{bmatrix} a \\ b \\ c \\ \end{bmatrix}$ - 定理8-51: $\displaystyle x,y \in R^{n \times 1}, x \neq y, ||x||=||y||, u=\frac{x-y}{||x-y||}$ - $H = I - 2uu^T$為相對u的householder矩陣且$Hx=y$ - 解題目時盡量湊出$u^Tu$, 因為他運算後是常數 (when $u\in R^{n \times 1}$) - 其他練習: 精選範例5, 6, 7 ## 8-11 奇異值分解 - Singular Value Decomposition (SVD) - $A = U \Sigma V^T$ - $A \in C^{m \times n},\ U \in C^{m \times m},\ V \in C^{n \times n},\ \Sigma \in C^{m \times n}$ - $\sigma_1 \geq \sigma_2 \geq ...\geq \sigma_s,\ s = min\{m,n\}$ - SVD一定存在，但U, V不唯一 - 若$rank(A)=r = A$的非零signlar value個數 - $v_1, ...v_r形成R(A^H)$的單範正交基底(orthonormal basis) - $v_{r+1}, ...v_n形成N(A)$的單範正交基底(orthonormal basis) - $u_1, ...u_r形成R(A)$的單範正交基底(orthonormal basis) - $u_{r+1}, ...u_m形成N(A^H)$的單範正交基底(orthonormal basis) - 很重要!!! - 虛反矩陣 pseudoinverse - 先求A的SVD: $A = U \Sigma V^T$ - 再求$\Sigma^{+}$: 先取$\Sigma^{T}$，再把所有$\sigma_i$變$\displaystyle \frac{1}{\sigma_i}$ - 虛反矩陣$A^{+} =V\Sigma^{+} U^T$ - 若A行獨立$\implies rank(A)=n \implies (A^HA)^{-1}$存在 - 則$A^+ = (A^HA)^{-1}A^H$，這樣算快多了 - 這張的其他練習都一定要鍊 - 其他練習: 例63, 64, 66, 68 精選範例4