---
# System prepended metadata

title: 'Linear Algebra - Lec 34~35: General Vectors'
tags: [Linear Algebra - HungYiLee]

---

---
tags: Linear Algebra - HungYiLee
---

Linear Algebra - Lec 34~35: General Vectors
===

[TOC]

# [課程網站](http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA18.html)

# [Lecture 34: General Vectors (Part I)](https://www.youtube.com/watch?v=o4dPfMkz_lw&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=35)

## Introduction

### 廣義的 vector

![](https://i.imgur.com/VqJ7lXm.png)

## Are they Vectors?

![](https://i.imgur.com/rRTwnG1.png)
- matrix
- linear transform
- polynomial

以上都可以視為 vector


![](https://i.imgur.com/xyajKCK.png)
- 特別的是**任何 function 都可以被視為 vector**，我們只要在 function 上取 $f(x)$ 的 sample，但是要取無窮多個，因此可以被視為無窮多維的 vector

## What is a vector?

![](https://i.imgur.com/UWFwzYv.png)
- vector 的定義看起來很複雜，但其實合乎我們直覺是 vector 的應該就都是 vector 啦

## Objects in Different Vector Spaces

同一個東西其實可以是在不同的 vector space

![](https://i.imgur.com/XjfAqNI.png)

![](https://i.imgur.com/jBPxrrC.png)

## Subspace

![](https://i.imgur.com/mWqpC9i.png)

### Are they Subspaces?

![](https://i.imgur.com/n9WXNpi.png)

### 注意：之後的 Notation of Polynomials
- $P$: all polynomials
- $P_n$: all polynomials with degree less than or equal to $n$

## Linear Combination and Span

![](https://i.imgur.com/5BJBe1t.png)

![](https://i.imgur.com/tALq6Ln.png)

## Linear transformation

### Matrix Transpose

![](https://i.imgur.com/4wKsaOU.png)

### Derivative & Integral

![](https://i.imgur.com/ZjDwQqG.png)

微分 & 積分 居然也是 linear 的！！！
既然是 linear 的，我們就可以找出它代表的 matrix


## Null Space and Range

### Null Space

- The null space of T is the set of all vectors such that $T(v)=0$
- What is the null space of matrix trnapose?
    - only zero matrix $O$ will let the transpose matrix is zero vector (zero matrix)


### Range

- ***The range of $T$ is the set of all images of $T$. (???不懂)***
- That is, the set of all vectors $T(v)$ for all $v$ in the domain
- What is the range of matrix transpose?
    - $m\times n\rightarrow n\times m$


## One to one and Onto (Review Lec 16)

![](https://i.imgur.com/dNqAwJB.png)


## Isomorphism (同構)

![](https://i.imgur.com/V0QPLtP.png)
- example 2: $P_2$ 和 $\mathcal R^3$ 是 Isomorphism 的


## Basis

- A basis for **subspace $V$** is a **linearly independent** generation set of $V$.

### Independent

![](https://i.imgur.com/z6O8M2L.png)

- 第二個 example 的 linear combination 等於 $\begin{bmatrix}a&b\\c&-a\end{bmatrix}$，因此若要 linear combination 等於 0，則必須 $a=b=c=0$

![](https://i.imgur.com/PqEYNTa.png)
- 第二個 example 可以用微分，以及 $t$ 代 0 來計算

### Basis

![](https://i.imgur.com/5b01rA1.png)


# [Lecture 35: General Vectors (Part II)](https://www.youtube.com/watch?v=7E7ZzTJFeng&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=36)

## Vector Representation of Object

### Coordinate Transformation

![](https://i.imgur.com/JznnpVk.png)
之前說過用 $P_n$ 代表所有 degree 小於等於 $n$ 的多項式的集合，它的一個 basis 是 $\{1,x,x^2,...,x^n\}$
- 這裡就是把 $1$、$x$、$x^2$、...、$x^n$ 等視為許多 vectors (因為一個 function 可以視為 vector)
- 而這個 **polynomial 可以用這樣的 basis 所構成的 coordinate system 來用 vector 表示**

#### Question?
- ***所以 polynomial 可以被視為 subspace，也可以被視為 vector 囉?***

## Matrix Representation of Linear Operator

### Example - Matrix Representation of Derivative

![](https://i.imgur.com/YilBHW9.png)
- 注意這裡是用 升冪 來排列 degree

![](https://i.imgur.com/WF5dAiY.png)
- review: 若想知道一個 linear transformation 的 **matrix representation**，只要輸入 standard vector $e_1,e_2,...$，輸出就是 matrix 的各個 columns
    - example: $e_3$ 在這代表 $x^2$，function 的 output 是 $2x$，所以 matrix representation 的第三個 column 就是 $\begin{bmatrix}0\\2\\0\end{bmatrix}$。以此類推。

![](https://i.imgur.com/blFu7KY.png)
- 從 matrix representation 可以看出是這個 linear operation 是 non-invertible 的，也可以看出微分是 non-invertible 的

### Another Example (這裡感覺可以跟微積分融會貫通)
![](https://i.imgur.com/VYibFL6.png)
- 這時候又是 invertible 的了

![](https://i.imgur.com/bfdGE5l.png)


## Eigenvalue and Eigenvector

### Example - Eigenvalue and Eigenvector for Derivative / Transpose

![](https://i.imgur.com/JH2ACMn.png)

![](https://i.imgur.com/m9XhiJm.png)
同理，要找到 linear transformation 的 matrix representation，就輸入 standard vector $e_i$，那輸出就是該 matrix representation 的第 $i$ 個 column

![](https://i.imgur.com/75In49t.png)
- 覺得奇怪嗎，2x2 的 matrix 怎麼 dimension 是 3，其實它是 $\mathbb R^4$ 的 vector set

## Inner Product

![](https://i.imgur.com/nDPOaI9.png)
- inner product 其實是 dot product 更 general 的形式，也就是說 **dot product 只是 inner prodcut 的一種特例**。
- 當然可以定義其他的 inner product，例如 $10u\cdot v$

### Frobenius Inner Product

- Frobenius inner product 也是一種 inner product
![](https://i.imgur.com/ahdQlsZ.png)
- **Frobenius norm** 也可以照如上規則算出來
- 所以說在計算 **norm 的時候應該嚴謹的說明是在什麼樣的 inner product 上計算的**

### Inner Product for General Functions

![](https://i.imgur.com/RaY77Aq.png)
- 第一個符合 inner product，第二個不符合 inner product

## Orthogonal/Orthonormal Basis

![](https://i.imgur.com/WB5rhlI.png)
- 這裡的 dot 可以換成自己定義的 inner product

![](https://i.imgur.com/ipUzkVX.png)
- 這都跟之前學的一樣

![](https://i.imgur.com/GfCKohd.png)
- 用我們新定義的 inner product 可以得知，basis $\{1,x,x^2\}$ 不是 orthogonal 的 ($u_1,u_3$ 不是 orthogonal)
- 因此要用 Gram-Schmidt Process 把它轉成 orthogonal 的。
- 若要再轉成 orthonormal 就把長度也做 normalization，如下圖
    - 用新的 inner product 來計算 norm

![](https://i.imgur.com/XVCtkXW.png)
![](https://i.imgur.com/PT8zY6V.png)

### Application - Fourier Transform

**Fourier Transform 就是所有 function 的 basis，而 basis 之間就是 orthogonal 的。**