# Analysis of Invisible Data Poisoning Backdoor Attacks against Malware Classifiers - 曾明慧，鄭欣明

{%hackmd @HITCON/rkYm1whdY %}

> 針對惡意軟體分類器的隱蔽資料中毒後門攻擊之探討

針對惡意程式上的機器學習分類：
- Stastic Analysis
- Binary-based classfiler
- Feature-based
- Dynamic Analysis
動態較精準，但是，可能會針對環境去做特別指定。

- Challenges - Explainability
可解釋性：
機器學習還好說，但如果是 Deep Learning 是惡意程式，無法知道原因及改善方式？
- Challenges - Roubustness
如果去錯誤引導或惡意校調，將惡意程式變成辨認時為正常程式，那就會造成可怕的後果。

### 對抗式攻擊(Adversarial Attacks)

Image Classification
在影像辨識上，針對每個解析度去做干擾，0-255，讓整個影像分析的工具誤判。
Malware detection
- 可用轉換(Availabe Transformation)
但在惡意程式分類中，如果針對區塊做干擾，可能會導致程式無法執行。
- 功能保留(Funcationality-preserving)

在訓練資料時，去塞入一些程式內容，做訓練完模型之後，對它做攻擊。

### Backdoor Attack
在訓練的時候就進行干擾Model
在訓練後門程式的時候，放一些trigger去控制變數。

我們的預期：讓惡意程式分類模型，將惡意程式識別為正常程式。才能有足夠的隱蔽性。
我剛剛去看了一下題目，他是針對機器學習的惡意程式的模型做干擾，沒錯嗎？
應該是吧?

類型
Typical Backdoor Attack
洗腦模型是惡意的殺人機器 => 改 Label

Clean Label Backdoor Attack
我在圖片中沒有改動它的標籤(Label)，但卻能讓他一眼看到【惡意程式】的標籤(Label)變成【正常程式】的標籤(Label)，指鹿為馬！

可能性
因為並不是從零開始(pre-training module)，所以我們要先了解它的識別特徵或檢測機制。
~~否則就會發生給他錯的INPUT，他就會變成錯的 OUTPUT。(不是這個概念！)~~

所以要先識別：偵測機制(Detect)跟特徵(feature)

挑戰

目標
- 挑選特徵樣本
所以我們就
-

後續在實作上，我們不針對模型去調整，而去對資料去做投毒。

---

有針對分類器模型去做調整嗎？

- 典型後門攻擊：改訓練資料 及 標籤資料

樣本資料(惡意程式)→ 計算特徵 → 選擇特徵 → 產出後門觸發器 → 植入樣本 => 辨識成正常程式

- Clean Lable：

樣本資料(惡意\一般程式)→ 計算特徵(兩種特徵) → 選擇特徵(看下面) → 產出後門觸發器 → 植入樣本 => 辨識成正常程式

後續產出該模型去做投毒訓練，訓練完之後會得到一個投毒分類器。

針對特徵挑選： 挑正常及捨去惡意程式特徵，如果同時存在正常跟異常式中，給予權重值去計算
之後會再跟正常樣本去做聯合訓練，讓它有更完整的結果。

#### 實驗結果

完全乾淨的資料集： 96 %
預測準確度： 99.69%
後門規避率： 93.59%
投毒率： 78.60%

Clean Label 資料集：
預測準確度： 95.49 %
後門規避率： 95.34 %
投毒率： 99.67 %

驗證方式：用這些投毒的結果去訓練這些目標類別。

## Q & A
1．以backdoor attack成立為前提，那我們是否可以大膽假設，目前世界上已存在大量假的訓練模型? 那我們又該如何應變? 及是否有具體辦法可以有效分辨訓練模型是否可信任呢?

對，所以我們都需要再去驗證模型的安全性。

可能拿到的常用模型，也有可能是一個惡意程式模型，所以未來也有機會往這個方向上。

2．應該要如何應用在防毒軟體上？

我們可能很難以拿到防毒軟體的演算法或模型，但我們可以透過雲端分析軟體去識別檢測的邏輯。

如果有機會可以拿到的話，能拿到原始碼最好，但最難，
但實務上可以拿到的部份就是逆向的結果，所以只能透過這種方式去做攻擊驗證。

###### tags: `HITCON2021`,`HITCON`