# 李宏毅_Linear Algebra Lecture 35: General Vectors (Part II)
###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture`
[課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW)
## Linear Algebra Lecture 35: General Vectors (Part II)
[課程連結](https://www.youtube.com/watch?v=7E7ZzTJFeng&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=36)

### Vector Representation of Object

廣義的vector space上，一樣可以有不同的coordinate system之間的轉換。

### Matrix Representation of Linear Operator

如果我們可以不同的coordinate system來看到一個function，那這個function就可以變的比較簡單。先前的課程就提過，同一個linear operator在不同的coordinate system下看起來就是不一樣，以微分為例：
* 微分如課程中所提，它是function的function，以polynomial為例，input為polynomial，output也會是polynomial。我們想知道，這個linear operator是長什麼樣子的，這只需要丟入一個stnadard vector，看它的output就可以知道，丟入$e_i$就可以知道第$i$個column的樣子
* 每個polynomial都可以視為vector，因此將input與ouput的polynomial以vector來表示，即input-$\begin{bmatrix}2\\-3\\5 \end{bmatrix}$、ouput-$\begin{bmatrix}-3\\10\\0 \end{bmatrix}$，這樣我們就只需要找出什麼樣的matrix會讓它們有這樣的轉換即可

### Matrix Representation of Linear Operator

我們分別輸入三個standard vector：
* $\begin{bmatrix}1\\0\\0 \end{bmatrix}$，常數微分之後為0，因此得到$\begin{bmatrix}0\\0\\0 \end{bmatrix}$
* $\begin{bmatrix}0\\1\\0 \end{bmatrix}$，$x$微分之後為1，因此得到$\begin{bmatrix}1\\0\\0 \end{bmatrix}$
* $\begin{bmatrix}0\\0\\1 \end{bmatrix}$，$x^2$微分之後為$2x$，因此得到$\begin{bmatrix}0\\2\\0 \end{bmatrix}$

這三個vector組合起來就是這個微分背後所代表的matrix

### Matrix Representation of Linear Operator

這邊給出一個範例，很直觀。其中值得注意的是，這個代表微分的matrix是一個non-invertible的matrix，這也意味著polynomial微分這個行為是non-invertible。

### Matrix Representation of Linear Operator

這範例一樣是微分，但並非在polynomial上，而是某一個function set-F，其basis為$\left\{ e^t \text{ cos } t, e^t \text{ sin } t \right\}$，找出其微分所代表的matrix：
* 輸入standard vector-$\begin{bmatrix}1 \\ 0\end{bmatrix}$，依兩個相乘做微分的公式，左微乘右加右微乘左，因此$e^t \text{ cos} t$微分之後得到$(1)e^t \text{ cos }t + (-1)e^t \text{ sin } t$，我們發現得到的結果是1倍的F的第1個column 加上-1倍F的第2個column，我們得到$\begin{bmatrix}1 \\ -1\end{bmatrix}$
* 輸入standard vector-$\begin{bmatrix}0 \\ 1\end{bmatrix}$，依兩個相乘做微分的公式，左微乘右加右微乘左，因此$e^t \text{ cos} t$微分之後得到$(1)e^t \text{ cos }t + (-)e^t \text{ sin } t$，，我們發現得到的結果是1倍的F的第1個column 加上1倍F的第2個column，我們得到$\begin{bmatrix}1 \\ 1\end{bmatrix}$
* 得到背後代表的matrix-$\begin{bmatrix}1& 1 \\ -1 & 1\end{bmatrix}$，而且做完RREF之後會發現，這個matrix是invertible，這意味著這個function set-F在微分之後是一個一對一的關聯
### Matrix Representation of Linear Operator

這個範例說明，即使你不知道什麼是Antiderivative(反導數)，也不知道怎麼求出Antiderivative，但只要你知道那個背後的matrix，就能知道該matrix的inverse(兩者相乘為identity matrix)，有了這個inverse的matrix，你就可以直接計算它的Antiderivative。

舉例來說，F的basis為$\left\{e^t \text{cos} t, e^t \text{sin} t \right\}$，求$e^t \text{sin} t$的Antiderivative：
* $e^t \text{sin} t$的輸入向量為$\begin{bmatrix}0 \\ 1 \end{bmatrix}$，微分的matrix為$\begin{bmatrix}1 & 1 \\ -1 & 1 \end{bmatrix}$，其inverse為$\begin{bmatrix}1/2 & -1/2 \\ 1/2 & 1/2 \end{bmatrix}$，輸出向量為$\begin{bmatrix}-1/2\\ 1/2 \end{bmatrix}$，意味著Antiderivative為$(-\dfrac{1}{2})e^t \text{cos} t + (\dfrac{1}{2})e^t \text{sin} t$
### Eigenvalue and Eigenvector

與先前的課程一樣，先複習。

$T(v) = \lambda v, v \neq 0$，其中$v$是eigenvector，$\lambda$為eigenvalue

### Eigenvalue and Eigenvector

考慮function的eigenvector有什麼樣的組成：
* 微分為例，微分為一個linear operator，輸出、入皆為function，那$f(t) = e^{at}$是否為該function的eigenvector?那它的eigenvalue為何?
* 它是一個eigenvector，其eigenvalue為$a$，這意味著任何的實數都可以是eigenvalue，因為$a$可以是任意實數
* Transpose為例，Transpose為一個linear opeator，有什麼樣的範例可以表示?
* 以Symmetric matrix(對稱矩陣)為例，$A^T=A$，其eigenvalue=1
* Skew-symmetric matrix(扭曲的對稱矩陣)，$A^T=-A$其eigenvalue=-1
### Consider Transpose of 2x2 matrices

案例假設是一個2x2的matrices transpose到另一個2x2 matrice：
* 將matrix轉為vector，輸入$e_1$，也就是$\begin{bmatrix}1 & 0 \\ 0 & 0 \end{bmatrix} \to \begin{bmatrix}1 \\0 \\0 \\ 0 \end{bmatrix}$，這經過transpose還會是$\begin{bmatrix}1 \\0 \\0 \\ 0 \end{bmatrix}$
* 將matrix轉為vector，輸入$e_2$，也就是$\begin{bmatrix}0 & 1 \\ 0 & 0 \end{bmatrix} \to \begin{bmatrix}0 \\1 \\0 \\ 0 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\0 \\1 \\ 0 \end{bmatrix}$
* 將matrix轉為vector，輸入$e_3$，也就是$\begin{bmatrix}0 & 0 \\ 1 & 0 \end{bmatrix} \to \begin{bmatrix}0 \\0 \\1 \\ 0 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\1 \\0 \\ 0 \end{bmatrix}$
* 將matrix轉為vector，輸入$e_4$，也就是$\begin{bmatrix}0 & 0 \\ 0 & 1 \end{bmatrix} \to \begin{bmatrix}0 \\0 \\0 \\ 1 \end{bmatrix}$，這經過transpose會是$\begin{bmatrix}0 \\0 \\0 \\ 1 \end{bmatrix}$

把上面四個vector集合起來得到的就是這背後所代表的matrix，而你只需要交換row2、row3就可以輕易發現，這個matrix是inverable。
### Eigenvalue and Eigenvector

有了剛剛的matrix，我們可以展開它的characteristic polynomial，就可以找出它的eigenvalue、eigenvector：
* 對角線減$t$，計算它的determinant，得到$(t-1)^3(t+1)$，也就得到eigenvalue為1、-1
* $\lambda=1$，對應的就是symmetric matrices，其dimension一定小於等於其對應的degree，因此為3
* $\lambda=-1$，對應的就是skew-symmetric matrices，其dimension一定小於等於其應對的degree，因此為1

### Inner Product

把inner product想成一個operator，它的input是兩個廣義的vector(matrix, function)，然後再輸出一個scalar，而廣義的inner product必須符合幾個條件，假設你有$u, v, w$等三個廣義的vector，以及一個scalar_a：
1. 假設$u \neq 0$，那$\langle u, u \rangle >0$
2. $\langle u, v \rangle = \langle v, u \rangle$
3. $\langle u + v, w \rangle = \langle u, w \rangle + \langle v, w \rangle$
4. $\langle au, v \rangle = a \langle u, v \rangle$

### Inner Product

有一種稱為Frobenius inner product：$\langle A, B \rangle = trace(AB^T) = trace(BA^T)$，其中trace為斜對角線值的和，那其實它計算的就是兩兩元素相乘之和，可見上範例。又或者你可以把矩陣轉向量之後做inner product也是可以。

矩陣本身也可以計算其長度，只要計算它的Norm，也就是自己跟自己的Frobenius inner product。
### Inner Product

Inner Product也可以定義在function上面：
* $\langle g, h \rangle = \int^1_{-1} g(x)h(x)dx$
* 兩個函數相乘，從-1積分到1，因此，$g, h$的輸入範圍是落於-1~1之間
* 當$g(x)=1$且$h(x) = x$，那$g, h$為orthogonal

但如果是$\langle g, h \rangle = \sum^10_{-1-} g(i/10)h(i/10)$就不符合inner product的條件。
### Orthogonal/Orthonormal Basis

上面快速的複習課程提過的Orthogonal/Orthonormal，值得注意的是，$u \cdot v_i$可以以inner product來取代

### Orthogonal Basis

這邊說明的是，可以利用Gram-Schmidt Process將vector set轉為orthogonal basis，一樣的，如果是應用在general case上，那就可以直接將dot product轉為inner product。

### Orthogonal/Orthonormal Basis

對於degree小於等於2的所有polynomial_$P_2$，其basis為$\left\{1, x, x^2\right\$，並且輸入範圍為-1~1之間的數值：
* 定義$P_2$的inner product，也就是將兩個函數相乘取-1~1的積分，即$\langle f(x), g(x) rangle = \int^1_{-1} f(t)g(t)dt$
* 其basis_$\left\{1, x, x^2\right\$($u_1, u_2, u_3$)不為orthogonal basis
* 套用Gram-Schmide將其轉為orthogonal basis
* $v_1 = u_1 = 1$
* $v_2 = u_2 - \dfrac{\langle u_2, v_1 \rangle}{\Vert v_1 \Vert^2}v_1 = x - \dfrac{\int^1_{-1} t \cdot 1 dt}{\int^1_{-1} 1^2 dt}(1) = x - 0 cdot 1 = x$(因為$x$與1原本就是orthogonal，因此得到$x$)
* $v_3 = x^2 - \dfrac{1}{3}$
* 得到orthogonal basis，即$1, x, x^2 - \dfrac{1}{3}$
### Orthogonal/Orthonormal Basis

對剛才得到的orthogonal basis的長度做正規化，得到orthonormal basis

### Orthogonal/Orthonormal Basis

orthonormal basis劃出來，得到上圖