機器學習的關鍵下一步 - 李宏毅

今日 Facebook 可以自動標記你的朋友， Siri 能聽懂並回答使用者的問題，Gmail 甚至可以在我們寫郵件時給予建議，它們背後所仰仗的就是機器學習的技術。然而，今日機器學習仍有很多尚待克服的問題，例如：

  • 你知道只要一點人類肉眼都難以察覺的雜訊，就可以讓多數機器學習所得到的系統完全崩壞嗎？
  • 今天機器學習需要人類扮演機器的老師，根據大量人類提供的標註進行學習，機器能否做到無師自通呢？
  • 最後，機器能不能告訴我們它學到甚麼？它真的有學到東西嗎？

這個演講將跟大家簡介今日在機器學習領域有甚麼尚待克服的關鍵問題以及可能的解法。

tags: SITCON 2020 共筆 SITCON 2020 2020 共筆 Keynote R0

歡迎大家來到SITCON 2020 ヽ(✿ﾟ▽ﾟ)ノ
共筆入口：https://hackmd.io/@SITCON/2020
手機版請點選上方 按鈕展開議程列表。

請從這裡開始

影像辨識能力超越人類?

  • ML error rate < 3%，人類error rate < 5%

閱讀理解能力超越人類?

ML

  • 機器學習：找一個函式的能力
    • Input: 聲音訊號
    • Output: 聲音的資訊(How are you)
    • Input: 圖片
    • Output: 分類結果（貓貓）
    • Input: 圍棋位置
    • OutPut: 下一步走哪裡

回歸(Regression)

輸出為數值

分類 (Classification)

輸出為分類

Alpha Go 是分類問題
落子位置有限（19 x 19)
19x19選項選出最好的

生成 (Generation)

黑暗大陸
期待讓機器找到的函數是輸出句子輸出圖片
產生有結構的複雜東西(文句、圖片)

擬人化的說法 – 創造

Big GAN

  • Google：訓練大量圖片 然後 產生圖片
  • 可以以假亂真，但也會出錯

網球狗

怎麼告訴機器要找的函式?

  • 機器一些輸出的範例(labeled data)
  • 函式的好壞(loss) = (正確率) #%
  • 不斷地測試 f1, f2, f3 … fz 的 loss，找出最好的
  • 測試過程：Algorithm
  • 演算法由人類設計
  • E.g. Tensorflow, Pytorch

所有問題都被解決了嗎?

機器容易被欺騙？

加入雜訊來欺騙 e.g. 貓 -> 海星

  • 一般的雜訊機器還是有辦法辨認，只是隨著雜訊越多，貓的品種會開始有誤，到最後會變成fire screen(辨識成fire screen<–防火屏)

錯得有道理，錯得有尊嚴（？）

新的資安危機

perturbations 混淆臉部辨識系統
perturbations

  • 欺騙人臉偵測系統成某一特定人物

不只圖片，語音與文字也不安全

  • 語音相關

    • idea: 偵測一段語音是否合成
    • 語音合成 –(增加雜訊)> 欺騙「語者偵測系統」

  • 文字相關

正確答案 != 智慧

偉哉!機器學習!

  • 可解釋 AI: 機器告訴我們它為什麼知道答案

    • 給出正確答案 + 判斷特徵

  • 所有Pokemon是PNG，數碼寶貝是JPEG

    • Some how hacked the problems
    • PNG 透明背景

  • 馬辨識器

    • 機器認為出現英文就是馬
    • 訓練的圖片左下角都有一串相同的英文字
      link text

訓練素材很重要(X

機器居然學不會新技能!

一般人想像的人工智慧…






task_num = input("Please type task number")
tasks = ["task{}".format(task) for task in range(task_num)]
machine_skills = []
for i in range(task_num):
    machine_skills += tasks[task_num]

真實狀況是…

  • 學習新技能就忘了舊技能
  • Catastrophic Forgetting

Why?

  • 學習能力不足？
  • 依序學VS同時學
  • 記憶體不足?
  • 超越可記憶極限?

是不是機器能力不夠阿?

  • 依序學習：學不會
  • 同時學習：學得會

能力應該是足夠的，未來研究方向: Life-long learning for ML
一旦教了新的就忘了舊的東西
https://arxiv.org/abs/1909.03329

學習演算法找出最好的函數

人類設計的演算法

  • 優點：也可以痛電人類
  • 缺點：沒有效率 e.g. alphaSTAR訓練星海爭霸相當於人類遊玩 200 年的遊戲時間
  • 非常長的時間或大量資料非常長的時間或大量資料非常長的時間或大量資料非常長的時間或大量資料

機器自行設計演算法

  • Meta learning: 讓機器自己學習如何學習
    • 根據資料找一個 (找一個小 f 函數的) 大 F 函數的能力
    • 過去大F是人設計的，未來期待機器能夠自己找出更有效率的演算法
  • 現況：

  • 滿坑滿谷的研究與應用

機器學習類型

  • Supervised Learning 督導式學習
    • 傳統方法
    • 需要 labeled data
  • Unsupervised Learning 非督導式學習
    • 新型方法
    • 無須相同data: e.g. A 講中文 B 講英文

Voice Conversion

  • 傳統方法: 找A,B來唸同一句話，產生labeled data，期待機器學會將A的聲音轉成B的聲音
  • 新型方法: 讓機器自己找出，不需labeled data
  • One-shot learning: only one utterance from each speaker
  • 簽博

都沒有人要念博班 從小業配
讓你老婆(新垣結依)讓你簽下去：そんな忙しいのかな結依?!
也可以拿來簽志願役 (沒這回事

機器學習的待解問題

機械容易被欺騙?!

Select a repo