CW lab 112

@CW-lab-112

Public team

Joined on Jul 2, 2021

  • 基本功能 新增標題:打#符號 新增comment打>符號,打[ ]出現更多功能 例子: this is comment[name=何妍霖][time=Fri, Jun 4, 2021 11:04 PM] 用list表示,可以打-或* 如果要子清單,打完list符號,加上TAB(要更多就一直TAB)
     Like  Bookmark
  • :::info intro semi-supervised learning 由少部分labeled data和大部分unlabeled data構成 藉由資料集的分布,或模型的判斷,來自行標示資料。 ::: :::success
     Like  Bookmark
  • :::info 功能 RNN遞歸神經網路,可以使NN有短暫的記憶功能,輸入測資的順序會影響輸出的結果。 :::spoiler 輸入順序影響輸出結果,對於語句分析之類具有時效性應用有幫助。 :::
     Like  Bookmark
  • ::: info 使用CNN的理由 特徵小於整張圖片 :::spoiler ::: 特徵的位置不固定 :::spoiler
     Like  Bookmark
  • 比較deep和shallow model 比較有著一樣多參數的deep和shallow model,可以發現deep的performance較好 deep model比較好,為什麼? 1.情境1 從圖中可以發現長頭髮的男生data比較少,造成detect長髮男的performance較差 2.情境2
     Like  Bookmark
  • :::info Not good on traning-data 模型沒有被適度訓練,兩種解決方法。 [1]更換activation function :::spoiler 梯度消失問題(Vanishing Gradient Problem on Sigmoid) 由於Sigmoid的特性,輸入值的變化會被壓縮,所以經過deep network後,gradient會逐漸變小,導致learning緩慢,參數幾乎停留在random。 此時模型效率很差,因為後面的neural幾乎base on random值。
     Like  Bookmark
  • :::info Gradient Descent Gradient Descent需要計算LostFunction對各項權重的偏微分。我們用Backpropagation來計算。 ::: :::info
     Like  Bookmark
  • :::info 步驟 Step1: 定義一個函數(Define a set of function) hidden layer可以看做是在進行feature transform,將原本無法線性分割的資料轉置,成為可以區分的狀態。 Step2: 判斷函數的好壞(Goodness of function)
     Like  Bookmark
  • :::info 原理 將input data帶入function後所得到的output用一個範圍來區分是哪一個種類以寶可夢為例他們有生命值、攻擊力、防禦力...等好幾種特徵,將這些特徵表示為一個vector來帶入function。 方法 不能使用Regression來定義function :::spoiler
     Like  Bookmark
  • :::info 複習 ::: :::info 方法一:調整learning rate
     Like  Bookmark
  • 誤差形成 :::info Where does the error come from? 1.bias : 所有$f^*$的平均$\bar f$和靶心$\hat f$的差距 2.variance : $f^$的分散程度 ($f^$為測試結果,進行多次實驗測試則會有多個不同的$f^*$)
     Like  Bookmark
  • 步驟 :::info Model 找一個Function Set Function ex. y=b+w~cp~ w和b是參數,可以是任何數值
     Like  Bookmark
  • ML網站 特點 機器學習就是自動找函式 課程地圖 :::info Regression 函式輸出是一個數值(scalar)
     Like  Bookmark