# Ch1 -- Introduction
[TOC]

# 甚麼是機器學習?
## 感測器及致動器產生大量數位資料之後，使用機器學習來判斷
例如:
* 攝影機每秒產生不同畫質的畫面之後，用機器學習判斷超速
* google每天產生100 peta-bytes的資料

## 製作預測模型
機器學習的功能:
* 學習大量資料的結構、目錄、隱藏知識
* 製作預測模型所需的資料之高解譯能力特徵
* 使用歷史資料訓練模型來預測系統的將來行為
* 使用現有知識模型來調教近似領域的決策模型
例如: SVM

## 典型的機器學習模型
機器學習的工作:
1. 建立模型
2. 劃分界
3. 測試測試資料，測試資料需和訓練資料不一樣
* 如果一樣則稱為inside testing
機器學習的缺點:
需要手動標記標籤，有時手動標記的成本太高
例如: X光片等醫學影像

## 傳統的機器學習需要進行特徵工程
* 抽取圖片當中的特徵並轉化進入特徵空間
* 在特徵空間中劃分界

## 特徵工程的意義
傳統machine learning最重要的就是抽取特徵
因此我們需要選擇不同的架構來選擇抽取特徵

且我們會希望同一類的物件在特徵空間當中的距離較近
同時不同類的物件在特徵空間當中的距離較遠
這時提取到特徵空間裡面的函式就十分重要了

### 特徵抽取需要領域知識


HoG是以前的一種抽取特徵的方法
先把貓咪的邊界畫出來，然後再把它形成特徵
* 難道DL沒辦法抽取特徵嗎?
* 答: 可以是可以，但我們無法得知DL抽取的特徵是什麼
我們可以透過ML來了解抽取特徵的部分，才能更了解DL的過程

## 深度學習簡化特徵工程難度

ML就是一個特徵抽取的過程，我們又可以稱為特徵表式
* 人工定義特徵: 透過影響處理的技術，找出他的顯著特徵
* 如果我們今篇辨認腳踏車，我們抓圈圈(輪胎)的架構的話，
但因為火車也有圈圈，因此我們還要進入Kernel做判斷
* 如果是鳥的話，就抓他的鳥喙
* Kernel特徵轉換: 利用Kernel將特徵轉換到另外一種空間，並把他正規化
* 先將圈圈全部轉換到另外一個只有圈圈的空間當中
* 補充: 可以利用像是SVM的東西，SVM就是把維度提高後做切割
* [StatQuest](https://www.youtube.com/watch?v=efR1C6CvhmE)
* 距離公式學習: 把相近的東西之間的距離縮短，相差甚遠的東西之間的距離拉長
* 深度學習: 上面所講的三個部分，可以只用一個DL的NN涵蓋全部的部分
* 預測模型: 也可以看成分類器

## 深度學習建構一連串的特徵轉換
先經過DL來抽取特徵之後，再放入ML裡面去做分類

## 用建構階層式特徵表示深度學習
從最小的原始data(pixels)一直重錄組合，直到組出物件

## 為什麼需要DL
DL盡量還原人類的大腦，人類的大腦裡面也有很多不同的神經元負責不同的東西，最後再組合起來

## The Design Cycle
![Uploading file..._0hnlnk8bs]()

1. data collection
2. Feature Choice
3. Model Choice
4. Trainig
5. Evaluation
6. Computational Complexity

# 深度學習神經網路
* 深度學習具又多層神經網路
* 靠著現今發展成熟的硬體、資料、優良的ML技術，DL越來越厲害

# 開放源程式庫簡化深度學習製作 -- 以Tensorflow為例

* 高階API: 使用API呼叫硬體做較困難的計算
* 前端程式語言: 利用較簡單的方法使用API
* 平台: 作業系統
* 處理器:
* CPU: 恩，就是CPU
* GPU: 顯卡
* TPU: [張量處理單位](https://zh.wikipedia.org/wiki/%E5%BC%A0%E9%87%8F%E5%A4%84%E7%90%86%E5%8D%95%E5%85%83)

# Supervised Learning
給agent正確的label，讓他心裡有個底

# Unsupervised Learning
* for Discover Hidden Structures
* for Dimension Reduption

# Other Models
* Class Annotation Using Classifiers
* Regression Analysis for Predicting Continuous Values

# Iteractive Learning by Reinforcement Learning
* Reinforcement Learning: 簡稱RL，是ML當中的一個小分支，其原理為透過環境的因素來對Agent進行懲處

# The Design Cycle
* Data collection: 收集資料
* Feature Choice: 選擇要收集哪種類型的特徵
* Model Choice: 選擇使用哪個模型來做訓練
* Training: 訓練模型
* Evaluation: 評估該模型的效能(如: loss、accuracy)
* Computational Complexity: 計算時間/空間複雜度等