# Linear Algebra for Machine Learning and Data Science(Week3: Linear transformations)
###### tags: `coursera` `Linear Algebra` `math`
[week3](https://www.coursera.org/learn/machine-learning-linear-algebra/home/week/4)
## Machine learning motivation
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/eisSZ/machine-learning-motivation)

課程說明這禮拜的內容很刺激

### PCA

用拍照來比喻PCA的話，我們說，拍照是一種把三維空間的資訊放至一個二維空間，然後我們會盡可能的把我們想要的風景拉進來。PCA也是一樣的行為，也許我們會有一個高維度的資料集，我們就可以利用PCA將這個資料做降維的行為，並且盡可能的保留足夠多的資訊。
### Principal Component Analysis

假設上圖左是我們所擁有的資料集，可以看的到資料集普遍都集中在線邊。我們或許可以從這條線的角度來看這些資料集，這就是PCA會做的事情。

怎麼說，我們把所有的資料點通通投射到這條線上。那我們就把資料從一個二維空間轉到一維空間上。值得注意的是，這樣的作法會導致一些資料的信息喪失，不過沒有很多。這演算法又稱為維度降低演算法(dimensionality reduction algorithm)。

某種程度上PCA可以將資料集中的冗餘資訊去除，又不會損失你太多有效信息，這可以讓處理機器學習的過程更加容易。

## Singularity and rank of linear transformations
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/dyXZq/singularity-and-rank-of-linear-transformations)

課程說明如何快速看出這個用於線性轉換的矩陣是不是奇異的(singular)

### Non-singular transformation

這是我們課程中看過的一張圖，圖說明的是如何從左邊經過轉換矩陣轉至右邊，這也是一種basis的轉換，從左邊的正方形轉換成右邊的平行四邊行。

這邊也可以清楚的左邊的空間是可以很確實的經過轉換矩陣轉至右邊的整個平面空間。
### Singular transformation

如果這個轉換矩陣是singualr的情況下，就會像上圖那樣，空間是無法被確實的轉換的，平面空間變成一個線段，即使轉換後的basis非常的細瘦，它仍然是可以覆蓋整個平面空間，但這只是一個線段，它能覆蓋的就只是這個線段而以。也因此我們就知道，這個轉換矩陣是singular。
### Singular transformation

給出的矩陣是全0元素的轉換矩陣，我們可以發現到，整個平面空間(左邊)轉到右邊的結果通通是在原點。
### Singular and non-singular transformation

總的來看大概就是上圖那樣。從空間轉換的結果來看轉換矩陣是否為singular。

### Rank of linear transformations

從rank來看，從左至右的rank分別為2、1、0。其中第一個矩陣的rank為2是一個正確的矩陣維度。

## Determinant as an area
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/TADBs/determinant-as-an-area)

### Determinant as an area

課程中我們學習過determinant，很神奇的事情是，轉換之後的basis的面積就會是determinant，上圖範例來看就是5。
### Determinant as an area

這是剛剛課程中的第二個範例，我們說轉換之後得到的是一個線段，既然是線段就不會有面積，自然為0，也意謂著其determinant為0。
### Determinant as an area

這個剛剛課程中的第三個範例，我們說轉換之後得到的是一個點，既然是點就不會有面積，自然為0，也意謂著其determinant為0。
### Determinant as an area

總的來看大概就是上圖那樣的整理。
### Negative determinants?

當然我們知道，determinants有可能是負值，不過這只是一個順序上的差異，正、負值基本不影響我們的基本判斷。

## Determinant of a product
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/8SVz0/determinant-of-a-product)

課程說明Determinant的乘積

### Determinant of a product

上圖我們清楚看到，兩個矩陣相乘得到一個新的矩陣，很神奇的是，兩個矩陣的determinant相乘也剛好會是新的矩陣的determinant。
### Determinant of a product

對於我們剛剛說的兩個矩陣的determinant相乘等於新的矩陣的determinant是一定成立的。
### Determinant of a product

如果我們用線性轉換來看這件事的話是這樣的，第一個矩陣的轉換，其basis從面積1變成5，這說明這轉換放大5倍

### Determinant of a product

第二個矩陣的轉換，其basis從面積1變成3，這說明這轉換放大3倍
### Determinant of a product

合併來看就不難知道，第一個矩陣將basis放大5倍，然後第二個矩陣再將basis放大3倍，所以總的來看是15倍
### When one factor is singular

當兩個相乘的矩陣中有一個是singular的時候，那得到的結果就一定會是singular。因為它的determinant為0，乘上任何數都對昁0。

上圖給出一個很好的範例，經過第二個矩陣的線性轉換結果都會是投影到一個線上，而非平面空間。
## Determinants of inverses
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/T3MtS/determinants-of-inverses)

### Determinants of an inverse

上面是我們範例中常用的矩陣，它的determinant為5，它的逆的determinant為0.2，也剛好是$1/5=0.2$。不過最右邊的矩陣因為是singular，determinant為0，所以它並不存在逆。
### Determinants of an inverse

所以我們就知道，當矩陣存在逆的時候，它的逆的determinant就一樣會是倒數。
### Why?

從數學來證明的話，剛剛我們知道，兩個矩陣相乘得到一個新的矩陣，這個新的矩陣的determinant也會是兩個矩陣的determinant相乘，即$\det(AB)=\det(A)\det(B)$，那這時候的$\det(B)$就剛好是$\det(A)^{-1}$，然後兩個矩陣相乘就剛好會是單位矩陣(identity matrix)，而單位矩陣的determinant始終為1，這就代表$\det(A^{-1})$會是$\dfrac{1}{\det(A)}$。
### Determinant of the identity matrix

這邊只是給個範例說明為什麼單位矩陣的determinant始終為1。