# Linear Algebra for Machine Learning and Data Science(Week1: System of linear equations: 3 variables)
###### tags: `coursera` `Linear Algebra` `math`
[week1](https://www.coursera.org/learn/machine-learning-linear-algebra/home/week/1)
## System of equations (3x3)
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/MxEDu/system-of-equations-3x3)

這週的課程主要說明將矩陣從2x2擴展到3x3。

### Quiz: Systems of euqations

上一堂課是只有蘋果跟香蕉，這堂課開始要加入櫻桃。

### Solution: Systems of equations

從問題的描述可以知道：
1. 第二個描述中多了一根香蕉多5元，所以香蕉是5元
2. 第三個描述中多了一顆櫻桃多2元，所以櫻桃是2元
3. 第一個描述中總計是10元，所以蘋果是3元

把這個問題用聯立方程式表述的話就會是上圖右的system of equations 1。

### Quiz: More systems of equations

這邊給出更多範例。這三個問題中可能有無、可能無解。這需要你運用上一堂課學到的知識。
### Solutions: More systems of equations

各方程式求解如下：
1. system2：無限解，因為給的訊息只有$c=5$，剩下只要$a+b=5$就能成立
2. system3：無解，因為第二個描述說明$c=5$，第三個描述說明$c=3$，這矛盾了，因此無解
3. system4：無限解，因為冗餘了，第二個描述跟第三個描述都是第一個描述乘上一個倍數可得
## Singular vs non-singular matrices (3x3)
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/ibNuC/singular-vs-non-singular-matrices-3x3)

### Constants don't matter for singularity

上圖是我們剛剛看到的幾個方程式，有單一解、無限解、無解，它們各自對應的意義也都跟2個變數是一樣的。

### Constants don't matter for singularity

跟2個變數一樣觀念，要知道一個方程式是singular或是non-singular這件事是跟常數項無關的，所以我們先把常數項給設置為0。

### Constants don't matter for singularity

* system1：這有唯一解，是non-singular
* system2、3：c要等於0，這意謂著a+b也一定要等於0，所以可以推論出a+b有無限多種組合
* system4：a+b+c=0，c=-a-b，這代表a、b任意數都可以，只要c=-a-b，所以也有無限多組解

### Constants don't matter for singularity

當然，我們一樣可以把這個方程式用矩陣的方式來說明。

## System of equations as planes (3x3)
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/F2jis/system-of-equations-as-planes-3x3)

課程提供一個[工具](https://www.coursera.org/learn/machine-learning-linear-algebra/ungradedWidget/MbMmO/system-of-equations-as-planes-3x3)讓學生可以瞭解空間中求解的概觀。

### Linear equation in 2 variables -> Line

兩個變數的情況下我們可以在一個平面上畫出一條線來表述一個線性函數。
### Linear equation in 3 variables -> Plane

三個變數的話我們就會看到如上圖一般的平面空間，理論上c那條線應該是會一直延伸到碰觸你的鼻子，這樣說會比較有空間感。

對於a+b+c=1的這組方程式來說可以看到上圖的平面，其中一個解就是其中一個是1，另外兩個為0的解。這三個定義一個平面，事實上，穿過這三個點的整個平面就是這個方程式的一組解。這跟兩個變數的情況是一樣的，兩個點定義一條線，穿過這兩點的線上所有點都是解。只是在三個變數的情況下把我們的思想擴展到平面。

### Linear equation in 3 variables -> Plane

這邊給出的是一個經過空間原點的範例，3a-5b+2c=0，這意謂著會有一組解是過原點的(0,0,0)。

### System 1

現在，就跟我們在兩個變數中用線性相交來求解一樣，三個變數也會有空間相交。不過因為很難在平面上有個空間的相交表述，所以可看看有個感覺就好。

兩個方程式(平面)會相交於一條線，三個方程式(平面)會相交於一個點，也就是(0, 0,0 )，這很重要，還記得system1是完整的，唯一解，並且是非奇異的(non-singular)。

### System 2

這三個平面經過同一條線，因此有多組解，所以為singular。

### System 3

這三個方程式的空間是一樣的，因此平面上的每一個點都是解，所以有無限解，為singular。

### System 4
## Linear dependence and independence (3x3)
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/0Mv7m/linear-dependence-and-independence-3x3)

我們在2x2的矩陣中提過Linear dependence與independence，這決定一個矩陣是singular或是non-singular。高維矩陣的Linear dependence與independence雖然複雜了一點，不過仍然是直觀的。
### Linear dependence and independence

我們可以看的到上圖左的三句描述，雖然沒有看到c，不過我們可以假裝它就是一個系數為0的變數，因此可以沿著箭頭把它轉換成右邊的聯立方程式。一樣的，我們把這個聯立方程式的系數拿出來以矩陣來表述。

這個聯立方程式的第一個row加第二個row會等於第三個row，這意謂著第三個row是依賴於第一與第二個row，因此這是linear dependent，第三個row完全可以由第一個row加上第二個row來生成，所以它是singular。
### Linear dependence and independence

這個範例一樣的，把系數取出以矩陣表示。它存在多個相依性，像是第一個row加上第二個row就會等於第三個row，或是第一個row乘上2就是第二個row，第一個row乘上3就是第三個row。因此這是線性相依，為singular。
### Linear dependence and independence

這個範例猛然一看會覺得應該是穩了，不過當你把第一個row跟第三個row相加的時候會發現，它就是第二個row乘上2，這意謂著第一個row跟第三個row就能長出第二個row的樣子，這仍然是一種線性相依，為singular。
### Linear dependence and independence

這就很明顯的沒有辦法用任一個row來生成另一個row，所以這是線性獨立(linear independent)，為non-singular。

這只是為了說明3x3矩陣所寫的範例，我們終究需要一個驗證，這個驗證會在後面進行。
## The determinant (3x3)
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/967dJ/the-determinant-3x3)

2x2的矩陣中我們利用行列式(determinant)來驗證是否為singular，相同的作法在高維矩陣一樣可以做，只是有一點點的不一樣而以。
### Diagonals in a 3x3 matrix

在2x2的矩陣中我們是利用對角乘積去減掉反對角的乘積，然後用得到的結果來驗證一個矩陣是否為singular。在高維矩陣一樣是可以的，只是複雜那麼一點點點，就跟上圖我畫上的線一樣。
### Determinant

在3x3的矩陣中，一樣加總對角線的乘積和去減掉反對角的乘積和
### The determinant

這邊給出一個範例，按剛剛所說的對角線與反對角線方試計算其行列式，最終得到為1，因此這個矩陣並非singular。

### The determinant

這個矩陣比較特別一點，對角線下都是0，這種情況下其行列式結果就是對角線的乘積，因為其它的都會是0。

### The determinant

這個矩陣一樣是對角線下都是0，而且對角線也存在為0的元素，因此這個矩陣的行列式就會是0。

## Conclusion
[課程連結](https://www.coursera.org/learn/machine-learning-linear-algebra/lecture/F0kiP/conclusion)