# 機器學習概論(線上課程學習)
> [name=ChiuTing]

# k-means
k-means =? knn

# Logistic regression

# Decision trees

# Random Forests

# BOVW
bag of visual words(BoVW)詞袋模型
提取特徵 -> 學習詞袋 -> 用視覺詞袋量化圖像特徵
# PBOW

# Feature Pyramid Network(FPN)

# CNN
●Convolution層: 找出圖片當中的特徵
放入的圖片跟feature detector(filter)做卷積運算
生成feature map

卷積: 滑動 + 內積

利用 filter 在圖片上滑動並進行矩陣內積
卷積後得到的圖片我們稱為feature map

●Pooling層:

# 隱藏層

# Activation function(激勵函數)
**利用非線性方程式，解決非線性問題**

隱藏層之層數過多時，激勵函數不可隨意選擇
會造成梯度消失以及梯度爆炸

# Backpropagation(誤差反向傳播)
**縮小損失函數**

誤差由後面節點去"反向"往前推算 來調整權重的手法
誤差 = 正解資料 - 輸出
**找到損失函數對於權重的梯度，並用梯度下降法來對每個權重進行優化**

# Gradient Descent(梯度下降法)
**概念:** 隨機選擇初始點，不斷調整步伐跟方向，來找出最優解
梯度便可以用來找出滿足使Loss Function出現最小值的點

# Support Vector Machine(SVM)
最大邊距分類器(maximum margin classifiers)
**實現最大邊緣: 非線性激活函數 + S型輸出**
* **核轉換(kernel transformation)**
將原始數據投射到高維空間中
(ex: 將輸入2D空間映射到3D空間)
# 何謂kernel?
**Kernel -> 解決非線性問題 non-separation**

* 低維度映射到高維度呢?
需要透過映射函數，而核函數正是映射函數的內積
* 超平面將樣本做有效的切割 -> 兩邊的樣本要盡可能地遠離超平面
* SVM搭配kernel函數才能讓SVM在分類問題中得到非常好的效能
* **kernel trick**
找出一個核函數用來簡便計算映射到高維空間之後的內積
# 何謂權重?
樣本之間的相似性，相似性越高，權重越大