介紹
深度學習演算法試圖從大量資料中學習高維特徵,使得深度學習勝過機器學習。但反過來說,大量資料對深度學習來說是不可或缺的,模型大小與需要的訓練資料量幾乎呈線性關係。缺乏訓練資料在某些特定領域是無法避免的問題,數據的取得太過複雜又困難,使那個領域要建構大型的標注資料集極為困難。
遷移學習就是為了補足這一缺憾,不限制訓練資料必須與測試資料獨立同分布(independent and identically distributed),而目標領域中的模型也不需要從頭開始訓練,這一特性顯著減少我們需要的訓練資料和訓練時間。
這篇論文將定義深度遷移學習並且提出四種分類,然後回顧各個分類中的研究成果,給予每個類別標準化描述和示意圖。
深度遷移學習
遷移學習主旨是將來源領域的知識轉換進目標領域,靠的是不限制訓練資料必須與測試資料獨立同分布,學習流程圖如下: