# 隱私資訊安全研究

## 目標
* 使用 differential privacy 作用於資料集上後對AI detector之影響

## 資料蒐集

* 撰寫爬蟲爬取Malware來作為資料集


* 目標是Mirai家族的Malware
* 共 1382 筆ELF Malware of Mirai


## 概念驗證

* 資料集 D
* 500筆Malware + 1000筆BenignWare


* 提取特徵方式
* Full binary
* 透過利用 objdump 提取整隻 binary 後直接作為特徵值
* Control Flow Graph
* 提取後需要將整隻binary的不同Graph做組合
* Function Call Graph
* 以機率表示各function間的呼叫可能性

* 提取特徵準確率
* 以 D 作為資料集，並使用 sklearn 的 KNN 模型訓練出的結果，最後決定以FCG作為提取特徵值的方法

| | CFG | FCG | Binary |
| --------| -------- | -------- | -------- |
| accuracy | 32.0% | 60.2% | 90.8% |
| recall | 41.3% | 77.4% | 92.1% |
| precision | 15.8% | 61.0% | 90.8% |

* 訓練方式
* KNN
* 監督式機器學習演算法。通過尋找與新資料點最近的資料點來預測結果。
* 處理分類問題


* RF
* 處理決策樹的分類和回歸技術
* 可以看作多項分類器


* 驗證比
* 80 % Training Data
* 20 % Testing Data

## 資料集優化
* 排除非 elf 架構的 binary

## 實驗一、一般模型與模糊化資料集

* 實驗說明:將透過正常資料集 D 中80%資料訓練出的模型，以20%的資料進行測試並得出準確率，同時也對該20%的資料進行 differential privacy 處理。比較兩者間的差異。

* 實驗方式:使用laplace noise產生噪音，透過 epsilon 控制噪音的大小以符合differential privacy。


* 實驗結果:
* sensitivity = 0.1
* exsilon = 0.5
* KNN模型
* differential privacy
* normal

* RF模型
* differential privacy
* normal

| | KNN | RF |
| --------| -------- | -------- |
| normal | 92.0% | 96.3% |
| differential privacy | 91.6% | 94.0% |

## 實驗二、以模糊化資料集訓練模型

* 實驗說明:將透過符合 differential privacy 的演算法訓練 detector，80% 資料訓練模型 20% 的資料進行測試並得出準確率，比較與未使用differential privacy演算法訓練的detector兩者間的差異。

* 實驗方式:使用 [Diffprivlib](https://github.com/IBM/differential-privacy-library) 專案，Diffprivlib 是一個通用庫，用於試驗、調查和開發差分隱私中的應用程式。


* 實驗結果:

| | 未模糊 | e=0.3 | e=0.5 | e=0.8 |
| --------| -------- | -------- | -------- | -------- |
| accuracy | 93.5% | 63.4% | 38.1% | 36.5% |

## 結論
* 透過 differential privacy 測試資料集對於 AI 訓練的影響，證明 differential privacy 可以在犧牲 detector 少部分準確率的情況對資料進行保護。