---
tags: Linear Algebra - HungYiLee
---

Linear Algebra - Lec 34~35: General Vectors
===

[TOC]

# [課程網站](http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA18.html)

# [Lecture 34: General Vectors (Part I)](https://www.youtube.com/watch?v=o4dPfMkz_lw&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=35)

## Introduction

### 廣義的 vector


## Are they Vectors?

- matrix
- linear transform
- polynomial

以上都可以視為 vector

- 特別的是**任何 function 都可以被視為 vector**，我們只要在 function 上取 $f(x)$ 的 sample，但是要取無窮多個，因此可以被視為無窮多維的 vector

## What is a vector?

- vector 的定義看起來很複雜，但其實合乎我們直覺是 vector 的應該就都是 vector 啦

## Objects in Different Vector Spaces

同一個東西其實可以是在不同的 vector space



## Subspace


### Are they Subspaces?


### 注意：之後的 Notation of Polynomials
- $P$: all polynomials
- $P_n$: all polynomials with degree less than or equal to $n$

## Linear Combination and Span



## Linear transformation

### Matrix Transpose


### Derivative & Integral


微分 & 積分 居然也是 linear 的！！！
既然是 linear 的，我們就可以找出它代表的 matrix

## Null Space and Range

### Null Space

- The null space of T is the set of all vectors such that $T(v)=0$
- What is the null space of matrix trnapose?
- only zero matrix $O$ will let the transpose matrix is zero vector (zero matrix)

### Range

- ***The range of $T$ is the set of all images of $T$. (???不懂)***
- That is, the set of all vectors $T(v)$ for all $v$ in the domain
- What is the range of matrix transpose?
- $m\times n\rightarrow n\times m$

## One to one and Onto (Review Lec 16)


## Isomorphism (同構)

- example 2: $P_2$ 和 $\mathcal R^3$ 是 Isomorphism 的

## Basis

- A basis for **subspace $V$** is a **linearly independent** generation set of $V$.

### Independent


- 第二個 example 的 linear combination 等於 $\begin{bmatrix}a&b\\c&-a\end{bmatrix}$，因此若要 linear combination 等於 0，則必須 $a=b=c=0$

- 第二個 example 可以用微分，以及 $t$ 代 0 來計算

### Basis


# [Lecture 35: General Vectors (Part II)](https://www.youtube.com/watch?v=7E7ZzTJFeng&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=36)

## Vector Representation of Object

### Coordinate Transformation

之前說過用 $P_n$ 代表所有 degree 小於等於 $n$ 的多項式的集合，它的一個 basis 是 $\{1,x,x^2,...,x^n\}$
- 這裡就是把 $1$、$x$、$x^2$、...、$x^n$ 等視為許多 vectors (因為一個 function 可以視為 vector)
- 而這個 **polynomial 可以用這樣的 basis 所構成的 coordinate system 來用 vector 表示**

#### Question?
- ***所以 polynomial 可以被視為 subspace，也可以被視為 vector 囉?***

## Matrix Representation of Linear Operator

### Example - Matrix Representation of Derivative

- 注意這裡是用 升冪 來排列 degree

- review: 若想知道一個 linear transformation 的 **matrix representation**，只要輸入 standard vector $e_1,e_2,...$，輸出就是 matrix 的各個 columns
- example: $e_3$ 在這代表 $x^2$，function 的 output 是 $2x$，所以 matrix representation 的第三個 column 就是 $\begin{bmatrix}0\\2\\0\end{bmatrix}$。以此類推。

- 從 matrix representation 可以看出是這個 linear operation 是 non-invertible 的，也可以看出微分是 non-invertible 的

### Another Example (這裡感覺可以跟微積分融會貫通)
- 這時候又是 invertible 的了


## Eigenvalue and Eigenvector

### Example - Eigenvalue and Eigenvector for Derivative / Transpose


同理，要找到 linear transformation 的 matrix representation，就輸入 standard vector $e_i$，那輸出就是該 matrix representation 的第 $i$ 個 column

- 覺得奇怪嗎，2x2 的 matrix 怎麼 dimension 是 3，其實它是 $\mathbb R^4$ 的 vector set

## Inner Product

- inner product 其實是 dot product 更 general 的形式，也就是說 **dot product 只是 inner prodcut 的一種特例**。
- 當然可以定義其他的 inner product，例如 $10u\cdot v$

### Frobenius Inner Product

- Frobenius inner product 也是一種 inner product
- **Frobenius norm** 也可以照如上規則算出來
- 所以說在計算 **norm 的時候應該嚴謹的說明是在什麼樣的 inner product 上計算的**

### Inner Product for General Functions

- 第一個符合 inner product，第二個不符合 inner product

## Orthogonal/Orthonormal Basis

- 這裡的 dot 可以換成自己定義的 inner product

- 這都跟之前學的一樣

- 用我們新定義的 inner product 可以得知，basis $\{1,x,x^2\}$ 不是 orthogonal 的 ($u_1,u_3$ 不是 orthogonal)
- 因此要用 Gram-Schmidt Process 把它轉成 orthogonal 的。
- 若要再轉成 orthonormal 就把長度也做 normalization，如下圖
- 用新的 inner product 來計算 norm


### Application - Fourier Transform

**Fourier Transform 就是所有 function 的 basis，而 basis 之間就是 orthogonal 的。**