---
tags: Linear Algebra - HungYiLee
---

Linear Algebra - Lec 36: Singular Value Decomposition
===

[TOC]

# [課程網站](http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA18.html)

# [Lecture 36: Singular Value Decomposition](https://www.youtube.com/watch?v=OEJ0wxxLO7M&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=37)

## Outline


## SVD


- $\Sigma$ 長的就是右上角那樣，且 $\sigma_1\geq\sigma_2\geq...\geq\sigma_k\geq 0$

**$A$ 的 rank 就是 $\Sigma$ 的 rank**，因為
- 我們可以知道 $Rank(\Sigma)=k$
- review Lec 12?，可以知道 $Rank(AB)\leq\min(Rank(A),Rank(B))$

Rank 部分 review Lec 12?
- 又 $Rank(U)=m, Rank(V^T)=n$
- 且我們知道
- If $A$ is a $m\times n$ matrix, and $B$ is a $n\times k$ matrix, then $Rank(AB)\leq\min(Rank(A),Rank(B))$
- If $B$ is a matrix of rank $n$, then $Rank(AB)=Rank(A)$
- If $A$ is a matrix of rank $n$, then $Rank(AB)=Rank(B)$

結束

### 把 $\Sigma$ 零的部分都蓋掉

- $U$ 和 $V^T$ 對應的部分也蓋掉，仍然會等於 $A$
- 證明寫黑板，有點懶得自己證

### 如果把 $\Sigma_k$ 的部分也蓋掉呢?

乘出來會是 $A'$ 不等於 $A$
- 但是 **$A'$ is the rank k-1 matrix minimizing $\|A-A'\|$**
- 這裡的 $\|A-A'\|$ 就是用 Frobenius inner product 算出的 Frobenius norm
- 沒有證明

## SVD 可以對 data 做壓縮

[Low rank approximation using the singular value decomposition](https://www.youtube.com/watch?v=pAiVb7gWUrM)
- 自己調整 k' 決定壓縮率

{%youtube pAiVb7gWUrM %}

## SVD 的歌 o_o

[The SIngular Value Decomposition (SVD) song: It Had To Be U](https://www.youtube.com/watch?v=fKVRSbFKnEw)

{%youtube fKVRSbFKnEw %}