Ch1 – Introduction

• Ch1 – Introduction
• 甚麼是機器學習?
  • 感測器及致動器產生大量數位資料之後，使用機器學習來判斷
  • 製作預測模型
  • 典型的機器學習模型
  • 傳統的機器學習需要進行特徵工程
  • 特徵工程的意義
    • 特徵抽取需要領域知識
  • 深度學習簡化特徵工程難度
  • 深度學習建構一連串的特徵轉換
  • 用建構階層式特徵表示深度學習
  • 為什麼需要DL
  • The Design Cycle
• 深度學習神經網路
• 開放源程式庫簡化深度學習製作 – 以Tensorflow為例
• Supervised Learning
• Unsupervised Learning
• Other Models
• Iteractive Learning by Reinforcement Learning
• The Design Cycle

甚麼是機器學習?

感測器及致動器產生大量數位資料之後，使用機器學習來判斷

例如:

• 攝影機每秒產生不同畫質的畫面之後，用機器學習判斷超速
• google每天產生100 peta-bytes的資料

製作預測模型

機器學習的功能:

• 學習大量資料的結構、目錄、隱藏知識
• 製作預測模型所需的資料之高解譯能力特徵
• 使用歷史資料訓練模型來預測系統的將來行為
• 使用現有知識模型來調教近似領域的決策模型
  例如: SVM

典型的機器學習模型

機器學習的工作:

1. 建立模型
2. 劃分界
3. 測試測試資料，測試資料需和訓練資料不一樣
   • 如果一樣則稱為inside testing
     機器學習的缺點:
     需要手動標記標籤，有時手動標記的成本太高
     例如: X光片等醫學影像

傳統的機器學習需要進行特徵工程

• 抽取圖片當中的特徵並轉化進入特徵空間
• 在特徵空間中劃分界

特徵工程的意義

傳統machine learning最重要的就是抽取特徵
因此我們需要選擇不同的架構來選擇抽取特徵

且我們會希望同一類的物件在特徵空間當中的距離較近
同時不同類的物件在特徵空間當中的距離較遠
這時提取到特徵空間裡面的函式就十分重要了

特徵抽取需要領域知識

HoG是以前的一種抽取特徵的方法
先把貓咪的邊界畫出來，然後再把它形成特徵

• 難道DL沒辦法抽取特徵嗎?
  • 答: 可以是可以，但我們無法得知DL抽取的特徵是什麼
    我們可以透過ML來了解抽取特徵的部分，才能更了解DL的過程

深度學習簡化特徵工程難度

ML就是一個特徵抽取的過程，我們又可以稱為特徵表式

• 人工定義特徵: 透過影響處理的技術，找出他的顯著特徵
  • 如果我們今篇辨認腳踏車，我們抓圈圈(輪胎)的架構的話，
    但因為火車也有圈圈，因此我們還要進入Kernel做判斷
  • 如果是鳥的話，就抓他的鳥喙
• Kernel特徵轉換: 利用Kernel將特徵轉換到另外一種空間，並把他正規化
  • 先將圈圈全部轉換到另外一個只有圈圈的空間當中
  • 補充: 可以利用像是SVM的東西，SVM就是把維度提高後做切割
    • StatQuest
• 距離公式學習: 把相近的東西之間的距離縮短，相差甚遠的東西之間的距離拉長
• 深度學習: 上面所講的三個部分，可以只用一個DL的NN涵蓋全部的部分
• 預測模型: 也可以看成分類器

深度學習建構一連串的特徵轉換

先經過DL來抽取特徵之後，再放入ML裡面去做分類

用建構階層式特徵表示深度學習

從最小的原始data(pixels)一直重錄組合，直到組出物件

為什麼需要DL

DL盡量還原人類的大腦，人類的大腦裡面也有很多不同的神經元負責不同的東西，最後再組合起來

The Design Cycle

1. data collection
2. Feature Choice
3. Model Choice
4. Trainig
5. Evaluation
6. Computational Complexity

深度學習神經網路

• 深度學習具又多層神經網路
• 靠著現今發展成熟的硬體、資料、優良的ML技術，DL越來越厲害

開放源程式庫簡化深度學習製作 – 以Tensorflow為例


• 高階API: 使用API呼叫硬體做較困難的計算
• 前端程式語言: 利用較簡單的方法使用API
• 平台: 作業系統
• 處理器:
  • CPU: 恩，就是CPU
  • GPU: 顯卡
  • TPU: 張量處理單位

Supervised Learning

給agent正確的label，讓他心裡有個底

Unsupervised Learning

• for Discover Hidden Structures
  
• for Dimension Reduption
  

Other Models

• Class Annotation Using Classifiers
  
• Regression Analysis for Predicting Continuous Values
  

Iteractive Learning by Reinforcement Learning

• Reinforcement Learning: 簡稱RL，是ML當中的一個小分支，其原理為透過環境的因素來對Agent進行懲處
  

The Design Cycle

• Data collection: 收集資料
• Feature Choice: 選擇要收集哪種類型的特徵
• Model Choice: 選擇使用哪個模型來做訓練
• Training: 訓練模型
• Evaluation: 評估該模型的效能(如: loss、accuracy)
• Computational Complexity: 計算時間/空間複雜度等