# 建築系微積分助教課筆記 直線擬合 (2019.9.18)
###### tags: `Calculus` `微積分` `Arch` `建築系`
當我們在研究事件可能造成的原因時，我們想知道變因和結果之間的關係，比如說班上同學讀書時間($x$)和考試成績($y$)之間的關係。我們可以先調查班上同學的讀書時間和考試成績，假設班上有10個同學，我們會收集到$(x_1,y_1),...,(x_{10},y_{10})$ 10筆資料。現實中這些資料通常不會全部落在一條直線上，將這些資料畫在$xy$平面上，可以得到像是下面的資料分佈：

觀察圖片可以發現這些資料分佈在一條直線附近，我們希望可以找出這條直線的方程式。我們知道決定一條直線有兩個要素：**斜率**和**截距**，因此我們把這條未知待求的直線寫作$y=mx+b$，當中$m$和$b$是未知待求的變數。在這邊介紹兩種決定的方法。這兩種方法的差別在於誤差的型態，一種的誤差取歐式距離的平方，另一種的則是取絕對值。

### 最小平方法 (Least Square Error)
我們介紹第一種方法，最小平方法，他的想法就是做垂直投影，這個有些同學高中就碰過了。在這邊我們先釐清誤差是什麼，所謂誤差，就是預測值和實際值相差的部分。最小平方法考慮的是誤差的歐式距離，也就是$[y_i-(mx_i+b)]^2$，而我們要做的就是找到$\hat{m}$和$\hat{b}$，使得對於其他的斜率m和截距b，他們的誤差都會有下面的大小關係
$$\sum_{i=1}^{10}[y_i-\hat{m}x_i-\hat{b}]^2\leq\sum_{i=1}^{10}[y_i-mx_i-b]^2$$

### L1-誤差
然而，最小平方法很容易被群體中的離群值(outlier)干擾，要避免離群值的干擾，我們介紹第二種處理誤差的方法。他考慮的是誤差的絕對值，也就是$|y_i-(mx_i+b)|$，我們要做的就是找到跟前面類似的$\tilde{h}$和$\tilde{b}$，也就是找出$$\min_{(m,b)}\sum_{i=1}^{10}|y_i-mx_i-b|$$

### 備註
這邊先介紹兩種方法，至於他們的優缺點，我們還需要一些知識，像是函數的可微分性、單變數函數的極值問題等等。在這邊先賣個關子，等到我們具備這些知識會再做介紹，有興趣的同學，歡迎和助教討論。
#### Reminder: 可微分, Least Square, L1-norm