--- # System prepended metadata title: '李宏毅_Linear Algebra Lecture 35: General Vectors (Part II)' tags: [NTU, Hung-yi Lee, Linear Algebra Lecture] --- # 李宏毅_Linear Algebra Lecture 35: General Vectors (Part II) ###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture` [課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW) ## Linear Algebra Lecture 35: General Vectors (Part II) [課程連結](https://www.youtube.com/watch?v=7E7ZzTJFeng&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=36) ### Vector Representation of Object ![](https://i.imgur.com/67CvlTe.png) 廣義的vector space上，一樣可以有不同的coordinate system之間的轉換。 ### Matrix Representation of Linear Operator ![](https://i.imgur.com/Z4O0qAu.png) 如果我們可以不同的coordinate system來看到一個function，那這個function就可以變的比較簡單。先前的課程就提過，同一個linear operator在不同的coordinate system下看起來就是不一樣，以微分為例： * 微分如課程中所提，它是function的function，以polynomial為例，input為polynomial，output也會是polynomial。我們想知道，這個linear operator是長什麼樣子的，這只需要丟入一個stnadard vector，看它的output就可以知道，丟入$e_i$就可以知道第$i$個column的樣子 * 每個polynomial都可以視為vector，因此將input與ouput的polynomial以vector來表示，即input-$\begin{bmatrix}2\\-3\\5 \end{bmatrix}$、ouput-$\begin{bmatrix}-3\\10\\0 \end{bmatrix}$，這樣我們就只需要找出什麼樣的matrix會讓它們有這樣的轉換即可 ### Matrix Representation of Linear Operator ![](https://i.imgur.com/PI6gmwU.png) 我們分別輸入三個standard vector： * $\begin{bmatrix}1\\0\\0 \end{bmatrix}$，常數微分之後為0，因此得到$\begin{bmatrix}0\\0\\0 \end{bmatrix}$ * $\begin{bmatrix}0\\1\\0 \end{bmatrix}$，$x$微分之後為1，因此得到$\begin{bmatrix}1\\0\\0 \end{bmatrix}$ * $\begin{bmatrix}0\\0\\1 \end{bmatrix}$，$x^2$微分之後為$2x$，因此得到$\begin{bmatrix}0\\2\\0 \end{bmatrix}$ 這三個vector組合起來就是這個微分背後所代表的matrix ### Matrix Representation of Linear Operator ![](https://i.imgur.com/hvLmNvP.png) 這邊給出一個範例，很直觀。其中值得注意的是，這個代表微分的matrix是一個non-invertible的matrix，這也意味著polynomial微分這個行為是non-invertible。 ### Matrix Representation of Linear Operator ![](https://i.imgur.com/PkQBnec.png) 這範例一樣是微分，但並非在polynomial上，而是某一個function set-F，其basis為$\left\{ e^t \text{ cos } t, e^t \text{ sin } t \right\}$，找出其微分所代表的matrix： * 輸入standard vector-$\begin{bmatrix}1 \\ 0\end{bmatrix}$，依兩個相乘做微分的公式，左微乘右加右微乘左，因此$e^t \text{ cos} t$微分之後得到$(1)e^t \text{ cos }t + (-1)e^t \text{ sin } t$，我們發現得到的結果是1倍的F的第1個column 加上-1倍F的第2個column，我們得到$\begin{bmatrix}1 \\ -1\end{bmatrix}$ * 輸入standard vector-$\begin{bmatrix}0 \\ 1\end{bmatrix}$，依兩個相乘做微分的公式，左微乘右加右微乘左，因此$e^t \text{ cos} t$微分之後得到$(1)e^t \text{ cos }t + (-)e^t \text{ sin } t$，，我們發現得到的結果是1倍的F的第1個column 加上1倍F的第2個column，我們得到$\begin{bmatrix}1 \\ 1\end{bmatrix}$ * 得到背後代表的matrix-$\begin{bmatrix}1& 1 \\ -1 & 1\end{bmatrix}$，而且做完RREF之後會發現，這個matrix是invertible，這意味著這個function set-F在微分之後是一個一對一的關聯 ### Matrix Representation of Linear Operator ![](https://i.imgur.com/zUrldRD.png) 這個範例說明，即使你不知道什麼是Antiderivative(反導數)，也不知道怎麼求出Antiderivative，但只要你知道那個背後的matrix，就能知道該matrix的inverse(兩者相乘為identity matrix)，有了這個inverse的matrix，你就可以直接計算它的Antiderivative。 舉例來說，F的basis為$\left\{e^t \text{cos} t, e^t \text{sin} t \right\}$，求$e^t \text{sin} t$的Antiderivative： * $e^t \text{sin} t$的輸入向量為$\begin{bmatrix}0 \\ 1 \end{bmatrix}$，微分的matrix為$\begin{bmatrix}1 & 1 \\ -1 & 1 \end{bmatrix}$，其inverse為$\begin{bmatrix}1/2 & -1/2 \\ 1/2 & 1/2 \end{bmatrix}$，輸出向量為$\begin{bmatrix}-1/2\\ 1/2 \end{bmatrix}$，意味著Antiderivative為$(-\dfrac{1}{2})e^t \text{cos} t + (\dfrac{1}{2})e^t \text{sin} t$ ### Eigenvalue and Eigenvector ![](https://i.imgur.com/yjXL0qV.png) 與先前的課程一樣，先複習。 $T(v) = \lambda v, v \neq 0$，其中$v$是eigenvector，$\lambda$為eigenvalue ### Eigenvalue and Eigenvector ![](https://i.imgur.com/xnZMnGi.png) 考慮function的eigenvector有什麼樣的組成： * 微分為例，微分為一個linear operator，輸出、入皆為function，那$f(t) = e^{at}$是否為該function的eigenvector?那它的eigenvalue為何? * 它是一個eigenvector，其eigenvalue為$a$，這意味著任何的實數都可以是eigenvalue，因為$a$可以是任意實數 * Transpose為例，Transpose為一個linear opeator，有什麼樣的範例可以表示? * 以Symmetric matrix(對稱矩陣)為例，$A^T=A$，其eigenvalue=1 * Skew-symmetric matrix(扭曲的對稱矩陣)，$A^T=-A$其eigenvalue=-1 ### Consider Transpose of 2x2 matrices ![](https://i.imgur.com/BYEJIGb.png) 案例假設是一個2x2的matrices transpose到另一個2x2 matrice： * 將matrix轉為vector，輸入$e_1$，也就是$\begin{bmatrix}1 & 0 \\ 0 & 0 \end{bmatrix} \to \begin{bmatrix}1 \\0 \\0 \\ 0 \end{bmatrix}$，這經過transpose還會是$\begin{bmatrix}1 \\0 \\0 \\ 0 \end{bmatrix}$ * 將matrix轉為vector，輸入$e_2$，也就是$\begin{bmatrix}0 & 1 \\ 0 & 0 \end{bmatrix} \to \begin{bmatrix}0 \\1 \\0 \\ 0 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\0 \\1 \\ 0 \end{bmatrix}$ * 將matrix轉為vector，輸入$e_3$，也就是$\begin{bmatrix}0 & 0 \\ 1 & 0 \end{bmatrix} \to \begin{bmatrix}0 \\0 \\1 \\ 0 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\1 \\0 \\ 0 \end{bmatrix}$ * 將matrix轉為vector，輸入$e_4$，也就是$\begin{bmatrix}0 & 0 \\ 0 & 1 \end{bmatrix} \to \begin{bmatrix}0 \\0 \\0 \\ 1 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\0 \\0 \\ 1 \end{bmatrix}$ 把上面四個vector集合起來得到的就是這背後所代表的matrix，而你只需要交換row2、row3就可以輕易發現，這個matrix是inverable。 ### Eigenvalue and Eigenvector ![](https://i.imgur.com/Ub0XUGH.png) 有了剛剛的matrix，我們可以展開它的characteristic polynomial，就可以找出它的eigenvalue、eigenvector： * 對角線減$t$，計算它的determinant，得到$(t-1)^3(t+1)$，也就得到eigenvalue為1、-1 * $\lambda=1$，對應的就是symmetric matrices，其dimension一定小於等於其對應的degree，因此為3 * $\lambda=-1$，對應的就是skew-symmetric matrices，其dimension一定小於等於其應對的degree，因此為1 ### Inner Product ![](https://i.imgur.com/tz4XE0C.png) 把inner product想成一個operator，它的input是兩個廣義的vector(matrix, function)，然後再輸出一個scalar，而廣義的inner product必須符合幾個條件，假設你有$u, v, w$等三個廣義的vector，以及一個scalar_a： 1. 假設$u \neq 0$，那$\langle u, u \rangle >0$ 2. $\langle u, v \rangle = \langle v, u \rangle$ 3. $\langle u + v, w \rangle = \langle u, w \rangle + \langle v, w \rangle$ 4. $\langle au, v \rangle = a \langle u, v \rangle$ ### Inner Product ![](https://i.imgur.com/OQ6gStU.png) 有一種稱為Frobenius inner product：$\langle A, B \rangle = trace(AB^T) = trace(BA^T)$，其中trace為斜對角線值的和，那其實它計算的就是兩兩元素相乘之和，可見上範例。又或者你可以把矩陣轉向量之後做inner product也是可以。 矩陣本身也可以計算其長度，只要計算它的Norm，也就是自己跟自己的Frobenius inner product。 ### Inner Product ![](https://i.imgur.com/AcRlCw0.png) Inner Product也可以定義在function上面： * $\langle g, h \rangle = \int^1_{-1} g(x)h(x)dx$ * 兩個函數相乘，從-1積分到1，因此，$g, h$的輸入範圍是落於-1~1之間 * 當$g(x)=1$且$h(x) = x$，那$g, h$為orthogonal 但如果是$\langle g, h \rangle = \sum^10_{-1-} g(i/10)h(i/10)$就不符合inner product的條件。 ### Orthogonal/Orthonormal Basis ![](https://i.imgur.com/xdZ2aMd.png) 上面快速的複習課程提過的Orthogonal/Orthonormal，值得注意的是，$u \cdot v_i$可以以inner product來取代 ### Orthogonal Basis ![](https://i.imgur.com/zfiOlDY.png) 這邊說明的是，可以利用Gram-Schmidt Process將vector set轉為orthogonal basis，一樣的，如果是應用在general case上，那就可以直接將dot product轉為inner product。 ### Orthogonal/Orthonormal Basis ![](https://i.imgur.com/9NZ2FGm.png) 對於degree小於等於2的所有polynomial_$P_2$，其basis為$\left\{1, x, x^2\right\$，並且輸入範圍為-1~1之間的數值： * 定義$P_2$的inner product，也就是將兩個函數相乘取-1~1的積分，即$\langle f(x), g(x) rangle = \int^1_{-1} f(t)g(t)dt$ * 其basis_$\left\{1, x, x^2\right\$($u_1, u_2, u_3$)不為orthogonal basis * 套用Gram-Schmide將其轉為orthogonal basis * $v_1 = u_1 = 1$ * $v_2 = u_2 - \dfrac{\langle u_2, v_1 \rangle}{\Vert v_1 \Vert^2}v_1 = x - \dfrac{\int^1_{-1} t \cdot 1 dt}{\int^1_{-1} 1^2 dt}(1) = x - 0 cdot 1 = x$(因為$x$與1原本就是orthogonal，因此得到$x$) * $v_3 = x^2 - \dfrac{1}{3}$ * 得到orthogonal basis，即$1, x, x^2 - \dfrac{1}{3}$ ### Orthogonal/Orthonormal Basis ![](https://i.imgur.com/b4uGdsi.png) 對剛才得到的orthogonal basis的長度做正規化，得到orthonormal basis ### Orthogonal/Orthonormal Basis ![](https://i.imgur.com/MtRnxxc.png) orthonormal basis劃出來，得到上圖