# 李宏毅_Linear Algebra Lecture 6: Having Solution or Not
###### tags: `Hung-yi Lee` `NTU` `Linear Algebra Lecture`
[課程撥放清單](https://www.youtube.com/playlist?list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW)
## Linear Algebra Lecture 6: Having Solution or Not
[課程連結](https://www.youtube.com/watch?v=-E67rZSjTNI&list=PLJV_el3uVTsNmr39gwbyV-0KjULUsN7fW&index=6)
### Learning Target

目前已經知道Linear System與System of Linear Equations、Matrix-vector product是同一件事情，接下來要探討的是，一個線性系統是否有解。

給定$A$、$b$的情況下，是否存在著$x$。課程上會學到兩個新的名稱：
* linear combination
* span

也可以看成課程開始說的電壓、電流的關係，有沒有那麼一組電壓-$x$可以輸出電流-$b$。
### Solution

如果system of linear equation存在解，即使只有一組，那就稱為`consistent`，若否，則為`inconsistent`。
### Solution (High School)

高中職的時候有教過，兩組二元一次聯立方程式：
* 平面上只有一個交點，就是唯一一組解
* 平面上兩條線平行，那就不存在解
* 平面上兩條線重疊，那就是無限解

不過高中職的時候最多可能只有講到兩、三元一次聯立方程式，本課程會提到更高維度的問題。
### Linear Combination

Linear Combination：線性組合
* 給定一個vector set $\left\{u_1, u_2...u_k\right\}$
* 給定一組scalars，為Coefficients of linear combination，$c_1,c_2...c_k$
* $v=c_1u_1 + c_2u_2 + ... + c_ku_k$
* 將兩個vector做weighted sum

簡報給出一個範例，2=1\*-3 + 1\*4 + 1\*1，8=1\*-3 + 3\*4 + -1\*1
### Column Aspect

矩陣與向量相乘，就是將矩陣的每一個Column做Linear Combination：
* 將所有的Coefficients-{$a_1, a_2,..., a_n$}集合起來，視為Matrix-$A$
* 矩陣-$A$與向量-$x$相乘得到的結果就是將vector-{$a_1, a_2,..., a_n$}根據$x$內的n個 coefficients做Linear Combination
* $Ax=x_1a_1 + x_2a_2 + ... + x_na_n$

因此，矩陣與向量的相乘，就是將矩陣的column與vector做linear combination。
### System of Linear Equations v.s. Linear Combination

$Ax=b$有沒有解這個問題也可以視為是否為consistent，或者是solution set是否為empty，也等同於$b$是否為$A$的column的Linear Combination：
* $Ax=x_1a_1 + x_2a_2 + ... + x_na_n = b$
### Example 1

利用範例說明以Lineaer Combination的角度來看System of Linear Equations是否有解。

$A$是兩個vector所組成的vector set，而b是否為這兩個vector的Linear Combination?
### Example 1

在平面上繪製出兩個vector，會發現用任何的Coefficients來計算Linear Combination的結果都會在虛線上。而$b$並不在線上，因此這個System of Linear Equations是沒有解的。
### Example 2

$A$是兩個vector所組成的vector set，而b是否為這兩個vector的Linear Combination?
### Example 2

一樣將兩個vector在平面上繪出，可以發現是有解的。
### Example 2

如果$u,v$為Nonparallel vector(非平行向量)，並且$u, v \in R^2$(為二維)，那麼它們的Linear Combination是整個二維空間。這意味著只要兩個向量不是平行向量，那就一定有解。

Nonparallel vector(非平行向量)定義：
* $u \neq cv$
* $u, v$ both not zero vectors

但這無法延伸到三維空間，即使三個向量皆非平行向量也不能保證它們的Linear Combination可以包含整個三維空間。

上面範例來看，有$u,v,w$三個向量皆非平行，皆落於x、y平面上，那它的Linear Combination只會在x、y平方面，這意味著結果上z座標皆會是0。

另外，非平行向量一定有解並不代表有解就一定是非平行向量。
### Example 3

$A$是兩個vector所組成的vector set，而b是否為這兩個vector的Linear Combination?
### Example 3

很明顯的兩個vector-$A$是平行向量，而$b$也正好在這平行線上，因此有解。這說明並不是有解就一定是非平行向量。
### Span

假設你有一個vector set S-{$u_1, u_2, \cdots, u_k$}，然後對這個vector set做linear combination。所有做linear combination可能得到的vector集合起來就是vector set的span：
* Span S = {$c_1u_1+ c_2u_2 + \cdots + c_ku_k$}

假設有一個Vector set-$V$正好等於Span-$S$：
* $S$為$V$的generating set，或者$S$生成$V$
* 把$S$視為描述$V$特性的一個方法，像$V$這種很大的Vector通常存在無窮多個元素_{(with infinite elements)}，這種Vector不好描述，因此可以利用它的generating set-$S$來描述它。
* 通常就是有例外，後續說明例外
### Span

舉例來說明：
* 假設有一個Vector-$S_0$，是一個0向量，那它的Span-$S_0$也會是0向量，這說明並不是所有的Vector set做Span之後都會得到無窮元素
* 假設有一個Vector-$S_1$，元素為1，-1，它跟Coefficients-$C_1$相乘之後得到的結果都會在黑色線上的任何Vector。因此Vector-$S_1$做Span之後得到的新的Vector set-Span $S_1$就是黑色線上所有Vector形成的集合，這個集合的數目就是無窮多個。
* 如果S包含非零的Vector，那做Span之後得到的結果就是無窮多個vector。
### Span

這邊的範例說明，兩個Vector set-$s_1, s_2$做Span之後所得到的結果是一樣的，即使兩個Vector set的Vector數目不一樣，做Span之後還是有可能會得到相同的Vector set。
### Span

這邊說明三個非平行向量所得的Vector Span-$S_3$就是整個二維空間中的集合，也就是$\mathcal{R}^2$。

上面已經說過，兩個非平行向量所得的結果已經是整個二維空間的所有可能集合了。
### Span

這邊說明，即使加入更多的Vector進來，所得的結果依然是$\mathcal{R}^2$
### Span

Standard Vector，其中一維為1，其餘為0：
* 如果求$e_3$的Span的話，那就是所有落在z軸的vector
* 如果是$e_1,e_2$做Span，那得到的結果就是整個x、y的平面
* 如果是$e_1,e_2,e_3$做Span，那就可以掃過整個三維空間，也就是$\mathcal{R}^3$
### Solution

有了Span的概念之後，有沒有解這件事就可以再換一個說法，有沒有解可以視為b是否為A的Linear Combination，也可以視為b是否在A的column的span中。

### Summary

總結來說，檢驗system of linear equations有沒有解就等同於b是否A的columns的linear combination，也等同於b是否在A的column的span之後形成的vector set裡面。