線性代數 筆記

矩陣及其運算

• upper triangular matrix: A為

  $n\times n$矩陣且
  $a_{ij}=0\mathrm{\forall }i>j$，剩下元素可為0可不為0，若對角項元素皆為0則稱為strictly upper triangular matrix

• lower triangular matrix: A為

  $n\times n$矩陣且
  $a_{ij}=0\mathrm{\forall }i<j$，剩下元素可為0可不為0，若對角項元素皆為0則稱為strictly lower triangular matrix

• Diagonal matrix: A既為upper triangular matrix也為lower triangular matrix，對角項元素可為0可不為0

• zero matrix既為strictly upper triangular matrix 也為 strictly lower triangular matrix

• AB = BA 未必成立(成立的條件，至少其中一個可逆，或A、B可以同步對角化)，所以

  $(A+B{)}^2$未必等於
  $A^2+2AB+B^2$，肯定等於
  $A^2+AB+BA+B^2$

• $A^n=O$(冪零算子)未必保證
  $A=O$

• $A^2=A$(冪等算子、投影矩陣)未必保證
  $A=I$或
  $A=O$

• $A\ne O$、
  $B\ne O$不保證
  $AB\ne O$，所以
  $AB=O$未必代表
  $A$或
  $B$至少一個為
  $O$，有可能兩個都不為
  $O$。但要是
  $A、B$其中一個為可逆，例如A為可逆，則
  $B=A^{-1}O=O$，至少其一為
  $O$。

• 兩個可逆矩陣相乘不等於

  $O$

• $AB=AC\mathrm{且}A\ne O$未必保證
  $B=C$(不具消去性)

• $X^n=A$未必保證X最多有n個解，可能更多

• conjugate transpose:

  $A^H、A^{\ast }$，
  $C=[c_{ij}]\in F^{n\times m},c_{ij}=\overline{a_{ji}}$，轉置再取共軛(先共軛再轉置也行)

• 當

  $F=\mathrm{R}$，
  $A^T=A^H$，因為共軛沒用

• $(aA\pm bB{)}^H=\bar{a}{A}^H\pm \bar{b}{B}^H$

• $(AB{)}^H=B^H{A}^H$

• Skew-symmetric matrix:

  $A^T=-A$、
  $A+A^T$是對稱矩陣，
  $A-A^T$是skew-symmetric

• Hermitian matrix:

  $A^H=A$，
  $A+A^H$是一個

• skew-Hermitian matrix:

  $A^H=-A$，
  $A-A^H$是一個

• trace:

  $tr(A)=\sum _{i=1}^n{a}_{ii}$，對角元素相加
  
  $tr(aA\pm bB)=atr(A)\pm btr(B)$，線性映射性質
  
  $tr(AB)=tr(BA)$，trace不是一對一函式

• 矩陣分割有多種形式，經典可以分割成

  $A=[A_1,A_2,...,A_n]$，
  $A_i$為column vector，此時
  $Ax=\sum _{i=1}^n{x}_i{A}_i\in CS(A)$，或者
  $A=[a_1,..,a_m{]}^T$，
  $a_i$為row vector，
  $xA=\sum _{i=1}^m{x}_i{a}_i\in RS(A)$

• $RS(A)=CS(A^T)$

反矩陣

注意找反矩陣的技巧

• 一個矩陣未必具左反矩陣或右反矩陣，例如0矩陣

• 一個矩陣若具左反矩陣，未必具右反矩陣，具右反矩陣，未必具左反矩陣

• $A\in F^{m\times n}$具左反矩陣
  $\leftrightarrow$ rank(A)=n。rank(A)=dim(CS(A))
  $\le n$。只有
  $m\ge n$才成立，反之，A不可能具有左反矩陣

• 證明:
  

• $A$具右反矩陣
  $\leftrightarrow$ rank(A)=m。
  $rank(A^T)=dim(CS(A^T))=dim(RS(A))$
  $\le m$。只有
  $m\le n$才成立，反之，A不可能有右反矩陣。

• 所以我們又知道

  $rank(A)\le min(m,n)$

• $A\in F^{m\times n}$，只有m==n的時候A才可能同時具左反矩陣與右反矩陣

• 若

  $A\in F^{n\times n}$，若A為invertible、nonsingular，表示存在
  $B\in F^{n\times n}$使得
  $I_n=AB=BA$，
  $B$同時為A的左反矩陣和右反矩陣，且
  $B$是唯一存在的

• 若

  $A_1,A_2,...,A_n$皆為可逆矩陣，則
  $A_1\cdot A_2...\cdot A_n$也為可逆矩陣且
  $A_1\cdot A_2...\cdot A_n=A_n^{-1}\cdot ...\cdot A_1^{-1}$

• IMPORTANT: 假設

  $AB=C$且
  $A$為可逆矩陣，則
  $B=A^{-1}C$，如果B、C皆已知，則可以找到
  $A^{-1}$

• $f(x),g(x)$為兩個多項式，
  $A\in F^{m\times n}$，則
  
  $f(A)g(A)=g(A)f(A)$，代表只要A、B可以被分解成矩陣多項式的形式，就代表AB=BA成立
  若
  $g(A{)}^{-1}$存在，則
  $f(A)g(A{)}^{-1}=g(A{)}^{-1}f(A)$，代表
  $g(A{)}^{-1}$同樣可以表示成矩陣多項式

基本列運算

• 簡單記錄幾個符號，
  

  $r_{ij}(A)$ : 將A的第i列和第j列交換
  
  $r_i^{(k)}(A)$ : 將A的第i列乘上k倍，且
  $k\ne 0$
  
  $r_{ij}^{(k)}(A)$ : 將A的第i列的k倍加到第j列

• IMPORTANT: 列運算可視為由

  $F^{m\times n}$對應到
  $F^{m\times n}$的函數，所以任何列運算都有對應的矩陣，且皆為可逆矩陣

• $A\in F^{m\times n}$且r為一個列運算，則唯一存在一個與r具相同型態的列運算
  $r^{-1}$使
  $r^{-1}(r(A))=A$
  
  $r_{ij}^{-1}=r_{ij}$、
  $R_{ij}^{-1}=R_{ij}$
  
  $(r_i^{(k)}{)}^{-1}=r_i^{(\frac{1}{k})}$、
  $(R_i^{(k)}{)}^{-1}=R_i^{(\frac{1}{k})}$
  
  $(r_{ij}^{(k)}{)}^{-1}=r_{ij}^{(-k)}$、
  $(R_{ij}^{(k)}{)}^{-1}=R_{ij}^{(-k)}$

• $A,B\in F^{m\times n}$，
  $A$ is row equivalent to B
  $\iff$ 存在一可逆矩陣
  $P\in F^{m\times m}$使
  $B=PA$

• $A,B\in F^{m\times n}$，
  $A$ is column equivalent to B
  $\iff$ 存在一可逆矩陣
  $P\in F^{m\times m}$使
  $B=AP$

• 每個可逆矩陣都可以視為數個row elementary matrix或elementary column matrix的乘積

線性方程組

• 線性系統可表示為

  $Ax=b$，
  $A\in F^{m\times n}、x\in F^{n\times 1}、b\in F^{m\times 1}$

• 所有滿足

  $Ax=b$的x所成的集合，稱為solution set

• 兩個線性系統具有相同solution set稱為equivalent(這是等價關係)，row equivalent或column equivalent的矩陣都有相同solution set，這也是為何可以用Gaussian、Gaussian-Jordan elimination求解的原因

• homogeneous system肯定有解(trivial solution

  $x=0$)
  homogeneous system有除了trivial solution以外的解
  $\iff$ 該system具有無限多組解(該系統的rank<n)
  只有trivial solution，代表該系統rank==n

• 每個矩陣皆列等價於某個列梯形形式

  $U$，
  $U$的非零列個數或樞元個數稱為
  $rank(A)$，rank在線性映射部分有另一個定義

• 每個矩陣皆列等價於唯一列簡化梯形形式(rref)，所以

  $rank(A)$唯一

• $A\in F^{m\times n}$,
  $rank(A)\le min(m,n)$

• $rank([A|b])$，代表
  $Ax=b$這個線性系統的獨立方程式個數

• $rank(A)\ne rank([A|b])⟺Ax=b$無解
  
  $rank(A)=rank([A|b])=n⟺Ax=b$有唯一解
  
  $rank(A)=rank([A|b])<n⟺Ax=b$無限多解，
  $n-rank(A)$為free variables的個數

• Gaussian elimination: 將矩陣運算到列梯形矩陣的過程，然後可以用back substitution求解

• Gaussian-Jordan elimination: 將矩陣運算到rref的過程，可以直接移項求解

• 假設

  $x_0$(particular solution)為
  $Ax=b$的某一個解，則
  $Ax=b$的solution set為
  $\{x_0+u|u\in U\}$，
  $U=\{u|Au=0\}$，
  $U$就是kernel of A,null space of A，此定理說明每個解都可拆成特解加上某個齊次解

• particular solution就是trivial solution在空間中移動的距離

• 每個矩陣其實都代表一個線性映射

  $T\in L(V,V^{\prime })$
  
  $R(T)、range(T)、Im(T)=\{v\in V|v\in V\}$，image of T，為T的值域
  
  $N(T)、ker(T)=\{v\in V|T(v)=0\}$，kernel space or null space of T，和對應矩陣的kernel space相同

• $nullity(T)=dim(ker(T))$，T的nullity
  
  $rank(T)=dim(Im(T))$，T的rank

可逆矩陣的充要條件

• 假設

  $A\in F^{n\times n}$，以下等價
  
  $A$為可逆矩陣，nonsingular
  
  $Ax=0$只有零解 (
  $rank(A)=n$)
  
  $A$列等價於
  $I_n$
  
  $A$為數個列基本矩陣乘積
  
  $\mathrm{\forall }b\in F^{n\times 1},Ax=b$有解，且具唯一解。這也代表
  $\mathrm{\forall }b\in F^{n\times 1}$，
  $b$都可以由
  $CS(A)$的基底組成，也代表
  $CS(A)=F^{n\times 1}$

• 如果

  $A\in F^{m\times n},m\ne n$，那A為nonsingular代表
  $Ax=0$只有零解(
  $rank(A)$還是等於
  $n$)，如果此時
  $m\ge n$，那
  $A$具有左反矩陣
  A為singular代表
  $Ax=0$具有非零解(無限多組解)，所以
  $rank(A)<n$，如果
  $m<n$且
  $rank(A)=m$，則
  $A$有右反矩陣

• 由

  $[A|I]$算到
  $[I|A^{-1}]$

LU分解

• $A=LU$,
  $L\in F^{m\times m}$且
  $L$為下三角矩陣，如果
  $A$不須經列交換可以列運算至列梯形型式，則A可做LU分解

• 可以知道，沒有列交換這個類型的基本矩陣乘積會是一個下三角矩陣或上三角矩陣

• 用在求

  $Ax=b$的時候，可以化成
  $Ax=LUx=Ly=b$，先得到
  $y$再用
  $Ux=y$求得
  $x$

• 看書的p1-79有教如何計算L跟U

• 有的矩陣不能做LU分解，但如果經過列交換後可以做LU分解，有經過列交換的LU分解稱為

  $P^{T}LU$-分解，
  $P$為permutation matrix

• $P^{-1}=P^T$

• 將

  $A$運算到可以做LU分解的型式相當於乘上
  $P$，作轉置可得
  $P^T$，可參考書的p1-83

• 如果有樞元很接近0，那選擇它可能造成很大誤差，有種方法是每次選擇絕對值最大的元素當成樞元

行列式

• 可將

  $det(A)$是為一個從
  $F^{n\times n}\to F$的function

• $det(A)=\sum _{j=1}^n(-1{)}^{1+j}{a}_{1j}det(A_{1j})=\sum _{j=1}^{n}cof(a_{1j})a_{1j}=\sum _{j=1}^n{a}_{ij}cof(a_{ij})=\sum _{i=1}^n{a}_{ij}cof(a_{ij})$

• 如果A具有相同的兩列或兩行，則

  $det(A)=0$
  所以
  
  $\sum _{j=1}^n{a}_{ij}cof(a_{kj})=0$, if
  $k\ne i$
  當
  $k\ne i$，也代表著其實A當中第i行和第k行相同

• $det\left[\begin{array}{c}u+kv\\ w\end{array}\right]=det\left[\begin{array}{c}u\\ w\end{array}\right]+kdet\left[\begin{array}{c}v\\ w\end{array}\right],k\in F$

• $det(A)=0$代表
  $rank(A)<n$

• 若A為上三角或下三角或對角矩陣，

  $det(A)=a_{11}{a}_{22}...a_{nn}$

• $det(A)=det(A^T)$

• $W=\left|\begin{array}{cc}{f}_1(x)& f_2(x)\\ g_1(x)& g_2(x)\end{array}\right|$
  則
  
  $W^{ˊ}=\left|\begin{array}{cc}{f}_1^{ˊ}(x)& f_2^{ˊ}(x)\\ g_1(x)& g_2(x)\end{array}\right|+\left|\begin{array}{cc}{f}_1(x)& f_2(x)\\ g_1^{\dot{}}(x)& g_2^{ˊ}(x)\end{array}\right|$

• $det(r_{ij}(A))=det(c_{ij}(A))=-det(A)$
  
  $det(r_i^{(k)}(A))=det(c_i^{(k)}(A))=kdet(A),k\ne 0$，所以
  $det(\alpha A)={\alpha }^{n}det(A)$
  $det(r_{ij}^{(k)}(A))=det(c_{ij}^{(k)}(A))=det(A)$

• 可以透過第三型列運算或行運算(前兩型也可以但會改變它的值)得到等價矩陣再求行列式

• 假設

  $E$為基本矩陣，代表
  $E$可以經由單位矩陣
  $I$經過行運算或列運算得到
  所以
  
  $det(R_{ij})=-1$
  
  $det(R_i^{(k)})=k$
  
  $det(R_{ij}^{(k)})=1$
  且
  $E^T$為具有相同型態的基本矩陣，所以行列式值會相同

• $A\in F^{n\times n},E\in F^{n\times n}$且
  $E$為基本矩陣
  
  $det(EA)=det(E)det(A)$
  
  $det(AE)=det(A)det(E)$

• $A$為可逆矩陣 iff
  $A$列等價於
  $I_n$ iff
  $rank(A)=n$ iff
  $det(A)\ne 0$

• $A,B\in F^{n\times n},det(AB)=det(A)det(B)$，不管A,B可逆或不可逆都成立
  若A,B不為方陣，則
  $det(AB)=det(BA)$未必成立

• $det(A^k)=det(A{)}^k$

• $A\in F^{n\times n},det(A^{-1})=1/det(A)$

• $det(A)=\left|\begin{array}{cc}A& O\\ B& I\end{array}\right|=\left|\begin{array}{cc}I& B\\ O& A\end{array}\right|$

• $\left|\begin{array}{cc}A& C\\ O& B\end{array}\right|=det(A)det(B)、\left|\begin{array}{cc}A& O\\ C& B\end{array}\right|=det(A)det(B)$

• $\left|\begin{array}{cc}A& B\\ B& A\end{array}\right|=det(A+B)det(A-B)$

古典伴隨矩陣

• $A\in F^{n\times n}$的古典伴隨矩陣classical adjoint定義如下
  
  $adj(A)=[b_{ij}]\in F^{n\times n},b_{ij}=cof(a_{ji})$

• $A\in F^{n\times n}$，
  $A\cdot adj(A)=adj(A)\cdot A=det(A)\cdot I_n$
  如果
  $det(A)\ne 0$也就是A是可逆矩陣，則
  $A^{-1}=adj(A)/det(A)$，且同時
  $adj(A)$也是可逆矩陣並且
  $adj(A{)}^{-1}=\frac{A}{det(A)}$

• 有快速計算高階反矩陣的方法嗎?

向量空間

• V is a vector space over F: 背起來

  1. $\mathrm{\forall }u,v\in V$，唯一存在
     $u+v\in V$
  2. $\mathrm{\forall }\alpha \in F,v\in V$，唯一存在
     $\alpha \cdot v\in V$
  3. $u+v=v+u$
  4. (u+v)+w=u+(v+w)
  5. 存在
     $0\in V$使得
     $v+0=0+v=v$
  6. 存在
     $-v\in V$使得
     $v+(-v)=0$，不一定為負元素，要視系統而定
  7. $\alpha \cdot (u+v)=\alpha \cdot u+\alpha \cdot v$
  8. $(\alpha +\beta )\cdot v=\alpha \cdot v+\beta \cdot v$
  9. $(\alpha \beta )\cdot v=\alpha \cdot (\beta \cdot v)$
  10. $1\cdot v=v$

• 假設V為佈於F的向量空間，則

  $\mathrm{\forall }u,v,w\in V,u+w=v+w⟹u=v$

• 常見向量空間

  1. 歐式空間(n-tuple space):
     $V=F^n$
  2. Matrix space:
     $V=F^{m\times n}$
  3. Polynomial space:
     $V=P=\{f(x)|f(x)\mathrm{為}\mathrm{佈}\mathrm{於}F\mathrm{的}\mathrm{多}\mathrm{項}\mathrm{式}\}$
  4. n-th polynomial space:
     $V=P_n=\{f\in P|deg(f)\le n\}$
  5. function space:
     $V=F(D,F)=\{f|f:D\to F\}$
  6. space of continuous function:
     $V=C[a,b]=\{f|f:[a,b]\to F\}$

子空間

• 定義: 假設

  $V$為佈於
  $F$的向量空間，若
  $W$為
  $V$的子集且
  $W$仍是佈於
  $F$的向量空間，則W為V的子空間

• zero space

  $\{0\}$為所有向量空間的子空間

• $P_n$為
  $P$的子空間

• $F^n$不為
  $F^{n+1}$的子空間，它們的成員型態不相同

• 可以透過證明

  $W$為某個已知向量空間的子空間，來證明
  $W$是向量空間

• 當

  $W_1,W_2$皆為
  $V$的子空間且
  $W_1\subseteq W_2$，則
  $W_1$是
  $W_2$的子空間

• 當

  $W\subseteq V,W\ne \varphi$，只須證明以下兩則就可驗證
  $W$為
  $V$的子空間
  1. $\mathrm{\forall }\alpha \in F,u,v\in W,u+v\in W\mathrm{且}\alpha v\in W$
  2. $\mathrm{\forall }\alpha ,\beta \in F,u,v\in W,\mathrm{則}\alpha u+\beta v\in W$

• $R^3$的子空間有四種
  1. 原點
  2. 過原點的直線
  3. 過原點的平面
  4. $R^3$

• 子空間的必要條件，可以用它們來否定一個集合是不是子空間

  1. $0\in W$
  2. $v\in W,\mathrm{則}-v\in W$

• $V$為佈於
  $F$的向量空間且
  $W_i$為
  $V$的子空間，
  $\mathrm{\forall }i\in I$，
  $\bigcap _{i\in I}{W}_i$，也是
  $V$的子空間

• 聯集則不保證為

  $V$的子空間，除非滿足這個條件
  
  $W_1\subseteq W_2\mathrm{或}{W}_2\subseteq W_1\iff W_1\bigcup W_2\mathrm{為}V\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$(要會證明)
  若此條件不滿足，
  $W_1\bigcup W_2$必不為子空間，因為
  $w_1\in W_1,w_2\in W_2$未必保證
  $w_1+w_2\in W_1\bigcup W_2$

• Sum Space:
  

  $W_i$為
  $V$的子空間，則
  $\sum _{i\in I}{W}_i=\{\sum _{i\in I}{w}_i|w_i\in W_i\}$
  當
  $\mathrm{\forall }{W}_i,W_i\mathrm{是}V\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$，則
  $\sum W_i$也是
  $V$的子空間
  和空間也必定是V的子空間

• $\mathrm{\forall }{W}_i,W_i\subseteq \sum _{i\in I}{W}_i$ 且
  $\bigcup _{i\in I}{W}_i\subseteq \sum _{i\in I}{W}_i$

• 矩陣的四個基本子空間 重要!背起來!
  

  $A\in F^{m\times n}$
  1. $CS(A)=\{Ax|x\in F^{n\times 1}\}$，由
     $A$的column產生的所有
     $m\times 1$的向量，且
     $CS(A)\mathrm{為}{F}^{m\times 1}\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$
  2. $RS(A)=\{xA|x\in F^{1\times m}\}$，由
     $A$的row產生的所有
     $1\times n$的向量，且
     $RS(A)\mathrm{為}{F}^{1\times n}\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$
  3. $ker(A)=\{x\in F^{n\times 1}|Ax=0\}$，且
     $ker(A)\mathrm{為}{F}^{n\times 1}\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$
  4. $Lker(A)=\{x\in F^{1\times m}|xA=0\}$，且
     $Lker(A)\mathrm{為}{F}^{1\times m}\mathrm{的}\mathrm{子}\mathrm{空}\mathrm{間}$

• 若

  $A,B\in F^{m\times n}$，
  $A$列等價於
  $B$，則
  $RS(A)=RS(B)、ker(A)=ker(B)$

• 若

  $A,B\in F^{m\times n}$，
  $A$行等價於
  $B$，則
  $CS(A)=CS(B)、Lker(A)=Lker(B)$

生成與線性獨立

• 生成空間:

  $V$為佈於
  $F$的向量空間，
  $S\subseteq V$，
  $span(S)=\{v|v\mathrm{為}S\mathrm{的}\mathrm{一}\mathrm{組}\mathrm{線}\mathrm{性}\mathrm{組}\mathrm{合}\}$，
  $span(\mathrm{\varnothing })=\{0\}$，zero space為所有向量空間的子空間
  
  $S\subseteq span(S)$，IMPORTANT

• 若

  $span(S)=V$，則S spans V，S為V的生成集spanning set

• 常見生成空間(在

  $R^2$上)
  1. x軸:
     $span\{(1,0)\}=\{x(1,0)|x\in R\}=\{(x,0)|x\in R\}$
  2. y軸:
     $span\{(0,1)\}=\{y(0,1)|y\in R\}=\{(0,y)|y\in R\}$
  3. $R^2=span\{(1,0)\}+span\{(0,1)\}=span\{(1,0),(0,1)\}=\{x(1,0)+y(0,1)|x,y\in R\}=\{(x,y)|x,y\in R\}$

• $A\in F^{m\times n},CS(A)=span\{a_1,...,a_n\},RS(A)=span\{A_1,..,A_m\}$，重要!!!

• $V$為佈於
  $F$的向量空間，
  $S\subseteq V$，則 (證明要會)
  1. $span(S)$為
     $V$的子空間
  2. 若
     $W$為
     $V$的子空間且包含
     $S$，則
     $span(S)\subseteq W$

• 由以上定理可知，

  $span(S)$為包含
  $S$之最小子空間，因此
  $span(S)$為所有包含
  $S$的子空間的交集

• $S$為
  $V$的子空間
  $\iff$
  $span(S)=S$

• 若

  $S_1\subseteq S_2$，則
  $span(S_1)\subseteq span(S_2)$，但反之未必成立

• $S_1=S_2\Rightarrow span(S_1)=span(S_2)$，反之未必成立

• $span(S_1\bigcap S_2)\subseteq span(S_1)\bigcap span(S_2)$
  
  $span(S_1\bigcup S_2)\supseteq span(S_1)\bigcup span(S_2)$

• $A,B\in F^{m\times n}$，
  $A$列等價於
  $B$，則
  $A$與
  $B$具有相同的行向量線性組合關係式

• 不要用暴力解，用上面的定理

• $span(S_1)+span(S_2)=span(S_1\bigcup S_2)$

• $S_1\subseteq S_2$，若
  $S_2$為線性獨立集，
  $S_1$為線性獨立集，
  $S_1\subseteq S_2$，若
  $S_1$為線性相依集，
  $S_2$為線性相依集

• 若

  $0\in S$，則
  $S$為線性相依，所以所有vector space都是線性相依集，所有線性獨立集都不是vector space

• $\mathrm{\varnothing }$為線性獨立集

• Wronskian 如果不等於0，則

  $f_1,..,f_n$為線性獨立

基底與維度

• 若

  $\beta \subseteq V$滿足
  1. $span(\beta )=V$
  2. $\beta$為線性獨立
     則稱
     $\beta$為
     $V$的一組Basis，且
     $dim(V)=\beta$的元素個數(維度必唯一)，同時也代表
     $\mathrm{\forall }v\in V,v$可唯一寫成
     $\beta$中的向量線性組合

• $\beta =\mathrm{\varnothing }$為
  $V=\{0\}$的基底，這是唯一一個維度0的向量空間

• $W_1=\{A\in V|A^T=A\},dim(W_1)=1+...+n=n(n+1)/2$
  
  $W_2=\{A\in V|A^T=-A\},dim(W_2)=1+...+(n-1)=(n-1)n/2$

• 生成裁減定理:

  $S\subseteq V,span(S)=V$，若
  $S$不為線性獨立集，則存在
  $|S|-dim(V)$個向量
  $u\in S$使得
  $span(S-\{u\})=V$

• 獨立擴增定理:

  $S\subseteq V$，
  $S$為線性獨立集，若
  $span(S)\ne V$,則存在
  $dim(V)-|S|$個向量
  $u\notin span(S)$使得
  $S\bigcup \{u\}$仍為線性獨立集

• Steinitz代換定理(證明要會):

  $S\subseteq V,|S|=n,span(S)=V$，
  $|S_0|=m,m\le n$,
  $S_0$為線性獨立集，則存在
  $S^{\prime }\subseteq S,|S^{\prime }|=n-m$使得
  $span(S^{\prime }\bigcup S_0)=V$

• 由以上定理可知，若

  $span(S)=V,S_0\subseteq V$且
  $S_0$為線性獨立集，則
  $|S_0|\le |S|$，由此可證明
  $V$的所有Basis大小都一樣

• 如果

  $S\subseteq V,|S|=dim(V)$，這時候如果能驗證
  $S$為線性獨立集，則
  $S$為
  $V$的基底

• $W$是
  $V$的子空間，則
  $W=V\iff dim(W)=dim(V)$

• 可逆矩陣的充要條件
  

  $A\in F^{n\times n}$
  1. $ker(A)=\{0\},dim(ker(A))=0$，因為
     $Ax=0$只有0解(trivial solution)，
     $rank(A)=n$，
     $det(A)\ne 0$
  2. $A$的行向量為線性獨立，所以
     $CS(A)=F^{n\times 1},dim(CS(A))=F^{n\times 1}$
  3. $Lker(A)=\{0\},dim(Lker(A))=0$，因為
     $xA=0$只有0解(trivial solution)
  4. $A$的列向量為線性獨立，所以
     $RS(A)=F^{1\times n},dim(RS(A))=F^{1\times n}$

• $dim(W_1+W_2)=dim(W_1)+dim(W_2)-dim(W_1\bigcap W_2)$

直和

• 兩兩獨立pairwise independent: 若

  $W_i\bigcap W_j=\{0\},\mathrm{\forall }i\ne j$，我們稱
  $W_1,..,W_k$兩兩獨立

• 獨立子空間independent subspace:

  $W_1,..,W_k$為
  $V$的子空間，若
  $W_i\bigcap \sum _{j\ne i}{W}_j=\{0\},\mathrm{\forall }i=1,..,k$

• 獨立子空間保證兩兩獨立，反之則未必

• $W_1,...,W_k$為獨立子空間
  $\iff$ 若
  $w_1+w_2+...+w_k=0$,則
  $w_1=w_2=...=w_k=0$
  $\iff$
  $dim(W_1+W_2+...+W_K)=dim(W_1)+...+dim(W_k)$

• 直和direct sum: 記為

  $V=W_1⨁W_2⨁...⨁W_k$，當滿足以下兩個條件時，稱
  $W_1,..,W_k$為
  $V$的一個直和
  1. $V=W_1+...+W_k$
  2. $W_1,...,W_k$為獨立子空間

• 若

  $W_1,..,W_k$為
  $V$的一個直和，且
  $span({\beta }_i)=W_i$，則
  $span({\beta }_1\bigcup {\beta }_2\bigcup ...\bigcup {\beta }_k)=V$，且
  $\mathrm{\forall }v\in V$,存在
  $v_i\in W_i$使得
  $v=v_1+v_2+...+v_k$且表示法唯一

線性映射

• $T:V\to V^{\prime }$滿足
  1. $\mathrm{\forall }u,v\in V,T(u+v)=T(u)+T(v)$
  2. $\mathrm{\forall }\alpha \in F,v\in V,T(\alpha v)=\alpha T(v)$
     當
     $V^{\prime }=V$，
     $T$稱為linear operator
     
     $V^{\prime }=F$，
     $T$稱為linear functional

• $T$為線性映射
  $\iff$
  $T({\alpha }_1{v}_1+{\alpha }_2{v}_2+...+{\alpha }_k{v}_k)={\alpha }_{1}T(v_1)+...+{\alpha }_{k}T(v_k)$

• 必要條件，可用以下條件來否定一個轉換為線性映射

  1. $T(0)=0$
  2. $T(-v)=-T(v)$
  3. $T(u-v)=T(u)-T(v)$

• 假設

  $T:F^n\to F^m$為一個線性映射，則存在唯一矩陣
  $A\in F^{m\times n},T(x)=Ax,\mathrm{\forall }x\in F^n$，稱為
  $T$的標準矩陣
  可以用
  $A=[T(e_1)T(e_2)]$，帶入基本行向量的方式求得

• 有幾個常見在平面上的線性映射

  1. 繞著原點逆時針旋轉:
     $R_{\theta }=\left[\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right]$，如果不是繞著原點要怎麼改?如果旋轉的時候長度會變呢?
     矩陣一樣，算完後的結果再加上繞著的圓心就可以
     
     $R_{\theta }{R}_{\varphi }=R_{\theta +\varphi }$
     
     $(R_{\theta }{)}^{-1}=R_{-\theta }$
     
     $(R_{\theta }{)}^n=R_{n\theta }$
     繞著正x軸逆時針旋轉(相當於在yz平面上逆時針旋轉，x不變):
     $\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\theta & -sin\theta \\ 0& sin\theta & cos\theta \end{array}\right]$
     繞著正y軸逆時針旋轉(相當於在xz平面順時針旋轉，y不變):
     $\left[\begin{array}{ccc}cos\theta & 0& sin\theta \\ 0& 1& 0\\ -sin\theta & 0& cos\theta \end{array}\right]$
     繞著正z軸逆時針旋轉(相當於在xy平面逆時針旋轉，z不變):
     $\left[\begin{array}{ccc}cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]$
  2. 鏡射:
     $A=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$，這是繞著x軸鏡射
     
     $A=\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right]$，繞著y軸鏡射
  3. 擴張、收縮:
     $A=\left[\begin{array}{cc}r& 0\\ 0& r\end{array}\right]$

• $T,U\in L(V,V^{\prime }),\beta =\{v_1,..,v_n\}$為
  $V$的一組基底
  
  $T=U\iff T(v_i)=U(v_i),\mathrm{\forall }i=1,2,..,n$，標準矩陣相同且唯一

• $V,V^{\prime }$為兩個佈於
  $V$的向量空間，
  $\beta =\{v_1,...,v_n\}$為
  $V$的一組基底，
  $\mathrm{\forall }{w}_i\in V^{\prime }$，唯一存在
  $T$使得
  $T(v_i)=w_i$，這代表當一個線性映射對某一組基底的對應決定後，整個線性映射便唯一決定

• 平移不為線性映射，為了解決此問題，將

  $(x,y)$視為
  $(x,y,1)$，平移後變成
  $(x+a,y+b,1)$，矩陣可以看成以下
  $\left[\begin{array}{ccc}1& 0& a\\ 0& 1& b\\ 0& 0& 1\end{array}\right]$

座標化

• $\beta =\{v_1,v_2,..,v_n\},span(\beta )=V$，
  $\mathrm{\forall }v\in V,v={\alpha }_1{v}_1+...+{\alpha }_n{v}_n$，定義
  $[v{]}_{\beta }=[{\alpha }_1...{\alpha }_n{]}^T\in F^{n\times 1}$，
  $[v{]}_{\beta }$唯一存在

• 遵守以下幾條定律

  1. $\mathrm{\forall }a,b\in F,u,v\in V,[au+bv{]}_{\beta }=a[u{]}_{\beta }+b[v{]}_{\beta }$
  2. $u=v\iff [u{]}_{\beta }=[v{]}_{\beta }$
  3. $\mathrm{\forall }x\in F^{n\times 1}$,唯一存在
     $v\in V,[v{]}_{\beta }=x$

• 若存在

  $T:V\to V^{\prime }$使得
  1. T為線性映射
  2. T為one to one 且onto function
     則
     $T$為線性同構函數(未必唯一)，且
     $V\cong V^{\prime }$

• 座標同構函數(coordinate isomorphism):

  $c_{\beta }:V\to F^{n\times 1},c_{\beta }=[v{]}_{\beta },\mathrm{\forall }v\in V$，它為一個線性同構函數且
  $V\cong F^{n\times 1}$

• 任何向量空間只要

  $dim(V)=n$則
  $V\cong F^{n\times 1}$，同維及同構，是一個等價關係

• $\{v_1,...,v_k\}$為線性獨立
  $\iff$
  $\{[v_1{]}_{\beta },...,[v_k{]}_{\beta }\}$為線性獨立

• 座標變換矩陣change of coordinate matrix:
  

  $\beta =\{u_1,...,u_n\},\gamma =\{v_1,..,v_n\},\mathrm{都}\mathrm{是}$V
  $\mathrm{的}Basis,[I_V{]}_{\beta }^{\gamma }=[[u_1{]}_{\gamma }...[u_n{]}_{\gamma }]$
  1. $\mathrm{\forall }v\in V,[v{]}_{\gamma }=[I{]}_{\beta }^{\gamma }[v{]}_{\beta }$
  2. $([I{]}_{\beta }^{\gamma }{)}^{-1}=[I{]}_{\gamma }^{\beta }$

矩陣表示法與換底公式

• $T\in L(V,V^{\prime }),dim(V)=n,dim(V^{\prime })=m,A\in F^{m\times n},A=[[T(v_1){]}_{\gamma }...[T(v_n){]}_{\gamma }]=[T{]}_{\beta }^{\gamma }$，matrix representation of T relative to
  $\beta$ and
  $\gamma$

• $\mathrm{\forall }v\in V,[T(v){]}_{\gamma }=[T{]}_{\beta }^{\gamma }[v{]}_{\beta }$

• $[T{]}_{\beta }^{\beta }[I{]}_{\gamma }^{\beta }=[I{]}_{\gamma }^{\beta }[T{]}_{\gamma }^{\gamma }$

• $T\in L(V,V^{\prime }),dim(V)=n,dim(V^{\prime })=m$,
  $span(\beta )=span(\gamma )=V,span({\beta }^{\prime })=span({\gamma }^{\prime })=V^{\prime }$
  則
  $[T{]}_{\beta }^{{\beta }^{\prime }}[I_V{]}_{\gamma }^{\beta }=[I_{V^{\prime }}{]}_{{\gamma }^{\prime }}^{{\beta }^{\prime }}[T{]}_{\gamma }^{{\gamma }^{\prime }}$

核空間與像集

• $S\subseteq V,S^{\prime }\subseteq V^{\prime }$

  1. direct image of S under T:

     $T(S)=\{T(v)|v\in S\}$

  2. inverse image of S' under T:

     $T^{-1}(S^{\prime })=\{v\in V|T(v)\in S^{\prime }\}$

  3. $ker(T)=\{v\in V|T(v)=0\}=\{T(v)\in \{0\}\}=T^{-1}(\{0\})$，
     $nullity(T)=dim(ker(T))$

  4. $Im(T)=T(V)=\{T(v)|v\in V\}$，
     $rank(T)=dim(Im(T))$

  5. $T(S)\subseteq V^{\prime },T^{-1}(S^{\prime })\subseteq V$

  6. $S\subseteq T^{-1}(T(S))$，如果T為一對一函數則等號成立

  7. $T(T^{-1}(S^{\prime })\subseteq S^{\prime }$，如果T為映成函數則等號成立

  如果S為V的子空間且S'為V'的子空間，則

  $T(S)$為
  $V^{\prime }$的子空間且
  $T^{-1}(S^{\prime })$為
  $V$的子空間

  因為

  $\{0\}$為
  $V^{\prime }$的子空間，所以
  $ker(T)$為
  $V$的子空間
  因為
  $V$為
  $V$的子空間，所以
  $Im(T)$為
  $V^{\prime }$的子空間

• $\beta$為
  $V$的basis，則
  $Im(T)=span(T(\beta ))$，把
  $span(\beta )$當中線性相依的向量拿掉，就找到
  $Im(T)$的Basis

• Sylvester第一定理 證明要會
  

  $dim(V)=nullity(T)+rank(T)$

• $T$為一對一函數
  $\iff$
  $ker(T)=\{0\}$
  $\iff$
  $nullity(T)=0$
  $\iff$
  $rank(T)=dim(V)$，且
  $dim(V)\le dim(V^{\prime })$

• $T$為映成函數
  $\iff$
  $Im(T)=V^{\prime }$
  $\iff$
  $rank(T)=dim(V^{\prime })$
  $\iff$
  $nullity(T)=dim(V)-dim(V^{\prime })$，且
  $dim(V)\ge dim(V^{\prime })$

• 若

  $dim(V)=dim(V^{\prime })<\mathrm{\infty }$，則
  $T$為一對一函數
  $\iff$
  $T$為映成函數

• $Im(T)=CS(A)=R(A)$
  
  $RS(A)=R(A^T)$
  
  $ker(A)=N(A)$
  
  $Lker(A)=N(A^T)$

• $Ax:F^n\to F^m,xA:F^m\to F^n$

• $A$為一對一函數
  $\iff$
  $N(T)=N(A)=\{0\}$
  $\iff$
  $Ax=0$只有零解
  $\iff$
  $det(A)\ne 0$
  $\iff$
  $rank(A)=CS(A)=n$ 且
  $n\le m$
  $\iff$
  $A$為行獨立

• $A$為映成函數
  $\iff$
  $R(T)=R(A)=F^{m\times 1}$
  $\iff$
  $dim(R(A))=m$ 且
  $n\ge m$

• 若

  $T$為線性映射，則
  $T$必為保相依: 若
  $S$為
  $V$的有限子集且線性相依，
  $T(S)$也為線性相依，稱為保相依

• $T$為保獨立
  $\iff$
  $T$為一對一函數 (證明)

• $T$為保生成
  $\iff$
  $T$為映成函數 (證明)

• $A\in F^{n\times n}$，則
  $a_1,a_2,..,a_n$組成的平行n面體體積為
  $|det(A)|$，假設S的面積為
  $r$，則
  $T(S)$圍出來的面積為
  $r|det(A)|$

矩陣的rank

• $A\in F^{m\times n},rr(A)=dim(RS(A))=cr(A)=dim(CS(A))$
  
  $cr(A)=dim(R(A)),rr(A)=dim(R(A^T))$

• 矩陣

  $A$的列梯形矩陣
  $U$具有r個樞元行，表示
  $Ax=0$的自由變數有n-r個，代表
  $ker(A)$的basis有n-r個向量，這跟維度定理相同

• $CS(A)$為
  $F^{m\times 1}$的子空間，
  $RS(A)$為
  $F^{1\times n}$的子空間，所以
  $rank(A)\le min\{m,n\}$

• $rank(A)+nullity(A)=n,rank(A^T)+nullity(A^T)=m$

• $CS(AB)\subseteq CS(A)$
  
  $RS(AB)\subseteq RS(B)$

• $rank(AB)\le min\{rank(A),rank(B)\}$，兩矩陣相乘時rank不可能變大，如果左乘或右乘一個可逆矩陣，則不會變

• $CS(A+B)\subseteq CS(A)+CS(B)$
  
  $RS(A+B)\subseteq RS(A)+RS(B)$

• $rank(A+B)\le rank(A)+rank(B)$ (證明)

• $A\in F^{m\times n}$ (證明)
  $A$具左反矩陣
  $\iff$
  $rank(A)=n$
  $\iff$
  $dim(CS(A))$
  $\iff$
  $A$為行獨立
  $\iff$
  $Ax=b$具唯一解
  $\iff$
  $dim(RS(A))=n$
  $\iff$
  $RS(A)=F^{1\times n}$
  $A$具右反矩陣
  $\iff$
  $rank(A)=m$
  $\iff$
  $dim(RS(A))$
  $\iff$
  $A$為列獨立
  $\iff$
  $xA=b$具唯一解
  $\iff$
  $dim(CS(A))=m$
  $\iff$
  $CS(A)=F^{m\times 1}$

• 證明

  $Ax=b$有解
  $\iff$
  $rank([A|b])=rank(A)$
  

• $Ax=b$有解的充要條件是
  $b\in CS(A)$
  如果
  $\mathrm{\forall }b\in F^{m\times 1},Ax=b$都有解，代表
  $CS(A)=F^{m\times 1}$，此時
  $rank(A)=m$
  當
  $rank(A)=n$時，代表每個
  $Ax=b$如果有解，那就至多一解(唯一解)
  如果
  $rank(A)=m<n$，代表每個
  $Ax=b$都有解且有無限多組解

• $A\in F^{m\times n},rank(A)=r$
  我們知道
  1. $r\le min\{m,n\}$
  2. 若
     $r=m$，則
     $A$具左反矩陣，且
     $CS(A)=F^{m\times 1}$
  3. 若
     $r=n$，則
     $A$具右反矩陣，且
     $RS(A)=F^{1\times n}$
  4. 若
     $r=m$，代表
     $\mathrm{\forall }b\in F^{m\times 1},Ax=b$有解，此時若
     $n>m$則每個
     $Ax=b$具有無限多組解，因為自由變數
     $n-r\ne 0$
  5. 若
     $r=n$，則
     $n-r=0$所以每個
     $Ax=b$若有解，會是唯一解

  做出以下歸納

  1. 若
     $r=m<n,Ax=b$會有解且對於每個
     $b$有無限多組解
  2. 若
     $r=m>n$，不可能有這個情況
  3. 若
     $r=n<m,Ax=b$可能有些無解(因為不屬於
     $CS(A)$)，有些有唯一解
  4. 若
     $r=n=m,Ax=b$都有解且都是唯一解
  5. $r<n$且
     $r<m$，則
     $Ax=b$若有解，則對於該b而言會有無限多組解

線性映射的合成與可逆

• 假設

  $T,U$屬於
  $V$到
  $V^{\prime }$的線性映射，
  $V=span\{\beta \}$，
  $V^{\prime }=span\{\gamma \}$，則
  $[aT+bU{]}_{\beta }^{\gamma }=a[T{]}_{\beta }^{\gamma }+b[U{]}_{\beta }^{\gamma }$

• $[UT{]}_{\beta }^{\omega }=[U{]}_{\gamma }^{\omega }[T{]}_{\beta }^{\gamma }$

• $([T{]}_{\beta }{)}^n=[T^n{]}_{\beta }$

• 可逆函數:

  $T\in L(V,V^{\prime })$，若存在
  $U:V^{\prime }\to V$使得
  $TU=I_{V^{\prime }}$且
  $UT=I_V$，則
  $U=T^{-1}$，且
  $T^{-1}$也為線性映射

• 可逆函數

  $\iff$ 一對一且映成函數

• $T$為可逆
  $\iff$
  $[T{]}_{\beta }^{\gamma }$為可逆

• $V\cong V^{\prime }\iff dim(V)=dim(V^{\prime })$

• $V,V^{\prime }$為佈於
  $F$的向量空間，則
  $L(V,V^{\prime })$亦為佈於
  $F$的向量空間 (證明)

• $dim(L(V,V^{\prime }))=dim(V)dim(V^{\prime })$

對偶空間與零化集

• $V$為佈於
  $F$的向量空間，
  $L(V,F)\mathrm{記}\mathrm{做}{V}^{\ast }$(dual space)，
  $L(V^{\ast },F)=(V^{\ast }{)}^{\ast }=V^{\ast \ast }$(double-dual space)

• $V$與所有對偶空間同構

• $f_i$為相對於
  $\beta$的第i個座標函數，
  $f_i:V⟶F,f_i(v)=a_i,\mathrm{\forall }v\in V$，則
  $[v{]}_{\beta }=[a_1,...,a_n{]}^T$

• 假設

  $\beta =\{v_1,...,v_n\}$，因為
  $[v_j{]}_{\beta }=e_j$，所以
  $f_i(v_j)={\delta }_{ij}$，且
  $\mathrm{\forall }v\in V,v=\sum _{i=1}^n{f}_i(v)v_i$

• 承上述，假設

  ${\beta }^{\ast }=\{f_1,...,f_n\}$為
  $V^{\ast }$的一組基底且
  $\mathrm{\forall }f\in V^{\ast },f=\sum _{i=1}^{n}f(v_i)f_i$

• $V,W$ are over
  $F$, and
  $\beta ,\gamma$ are basis for
  $V,W$，
  $\mathrm{\forall }U\in L(V,W)$，
  $U^T:W^{\ast }⟶V^{\ast }$為
  $U^T(g)=gU$，則
  $U^T$為線性映射且
  $[U^T{]}_{{\gamma }^{\ast }}^{{\beta }^{\ast }}=([U{]}_{\beta }^{\gamma }{)}^T$

• 假設

  $V$ is over F,
  $S\subseteq V$,則S的零化集(annihilator)為
  $S^0=\{f\in V^{\ast }|f(v)=0,\mathrm{\forall }v\in S\}$

• $S^0$為
  $V^{\ast }$的子空間，所以
  $S\subseteq V^{\ast }$

• $\{0{\}}^0=V^{\ast }$

• $V^0=\{O\}$，只有
  $O$可以讓所有在V當中的向量都變為0

• if

  $S_1\subseteq S_2$，then
  $S_2^0\subseteq S_1^0$

• $W$ is
  $V$'s sub space,then
  $dim(V)=dim(W)+dim(W^0)$