# [ HITCON 論壇 ] 人工智慧能否為人類指引網路攻防的基石？ - 陳仲寬, 邱銘彰, 陳品諭 博士

{%hackmd @HITCON/r1z4zylVv %}

> 從這開始
>
Q1: 請問大家的背景並分享一下近期在做的資安或ML研究
A1: AI 怎麼落地？資安如何結合 AI 並落地？
A2: 我的工作主要做資安事件調查，結合 AI
A3: 機器學習的漏洞，在 IBM 研究可信賴的 AI，研究可以解釋 AI 行為，落實隱私規範

Q2: 最近有哪些新的研究，是大家感到有興趣的？
A1: FB 做 AR 眼鏡，用 AI 的技術與麥克風陣列協志聽障者...
- https://today.line.me/tw/v2/article/FB%E6%94%B6%E8%B3%BC%E8%85%A6%E7%A5%9E%E7%B6%93%E5%85%83%E7%A7%91%E6%8A%80%E5%85%AC%E5%8F%B8%E3%80%80%E7%A0%94%E7%99%BC%E5%A4%A7%E8%85%A6%E9%9B%BB%E6%B3%A2%E6%8E%A7%E5%88%B6%E7%9A%84%E3%80%8CAR%E7%9C%BC%E9%8F%A1%E3%80%8D-YPYGJ8
A2: 三種針對 AI 攻擊方法
- 服務探測對方 Model 有用到哪些資料
- ...
- Model 竊取找出模型可能的參數
A3: AI 模型跟技術更安全，想辦法攻擊 AI 模型的漏洞與盲點，數據不夠全面或廣泛就會有盲點，舉例：智慧音箱

～情境～
在 Open Banking 情境，XXX銀行與學術單位合作，提供使用者申請及交易資料，想預測使用者未來交易頻慮及金額

Q4: 我們要如何進行去識別化，人工/自動化的方法為何
A1: AI 的燃料就是 Data，當同意將資料給銀行隱私問題
A2: 跟上個挺像～
A1: 去識別化還可以推敲這個人是誰，主要去識別化可以做到哪種層級，保護多AI可能訓練越差，要取得平衡
A2: 分散式機器學習

Q5: 去識別化的資料真的安全嗎？以駭客的角度要如何破解他？
A1: 企業端交換資料的安全...
A2: 怎樣的去識別化會破壞 AI 學習效率，資料保護得越好重要的 Feature 越來越模糊導致機器越難學習，因此隱私與準確很難抉擇

Q6: 由於 GDPR，使用者可以要求移除其資料，在 ML 系統中，如何達到此一目標？以及如何做 Verify
A1: Train 時就先把 Data 分好幾等分做 Train，最後再合併起來(federated learning)，若遇到資料要砍掉直接把該 Model 直接重新訓練，起碼 Train 時間會大幅減少，很像鐘乳石
A2: Verify 如何驗證，在上傳一次相同資料看是否預測結果不同

Q7: 延伸我們的應用，若今天有多個銀行想互相進行資料分享，要如何保護各自的隱私資料
A1:

Q8: 做了這些 ML 的研究後，有什麼是我們預先沒想到，但是 ML 模型告訴我們的事？
A1: 最害怕誤判但需要自動化，是希望報告是可以解釋的，Tree-based 是很好解釋的確定可以解釋後，可以用某個部分做 NN

###### tags: `HITCON2020`,`HITCON`