###### tags: `work`
# 訪視講稿
## 介紹：
我們的方法為：一個偵測HTTP新穎異常的新穎方法

許多安全機構會使用蜜罐來搜集駭客的攻擊行為，然而現今的蜜罐所捕獲到的流量是非常龐大的，且只有少數具有高研究價值(新穎異常)

我們的方法，可以自動且快速便是新捕獲的封包是否為**新型態異常**，以降低分析過程所需要的時間成本

## 影片：
- 00:00 - 用8/5的歷史資料進行訓練(分為entry和payload)，分別對entry, payload，進行訓練
- 03:20 - 我們會對原始資料進行前處理PCA。
- 03:27 - 訓練出bloom filter和k-means++模型產生分群的結果
- 05:12 - entry依照相同的步驟訓練
- 06:47 - PCA
- 06:57 - 訓練出bloom filter和k-means++分群結果
- 08:10 - 8/9的資料當作新捕獲的封包，是否含有新型態的異常

ptt or poster
在偵測時，先使用之前訓練的bloom filter，只需要big O(1)的時間複雜度，辨別新捕獲的封包是不是歷史異常。
若是歷史異常我們利用分群的資訊(k-means++模型產生分群的結果)找出最接近的前??個群
若是歷史異常利用Levenshtein ratio這個方法，經過Euclidean distance這個方法，能進一步降低誤報的產生。

- 10:13 - 在dashboard上可以看到哪些封包被偵測出為新穎異常(outlier)，以及產生一個異常分數，
- 方便分析人員能夠對新型態異常指數進行排序，以優先查看具有最高研究價值之新型態異常。
- 降低重複檢視歷史異常行為的次數

----------------------------------

## 介紹：
HTTP在工業控制系統上已經是最廣泛使用的定之一
在國內工業控制設備中，在2019年使用的比例也達到41%

許多安全機構會使用蜜罐來搜集駭客的攻擊行為，然而現今的蜜罐所捕獲到的流量是非常龐大的，且只有少數具有高研究價值

分析人員在分析這些流量的過程中，將會面臨蜜罐捕獲的數據量非常龐大，需要耗費許多時間去做分析。以及蜜罐捕獲的封包過去已經看過，重複檢視將花費不必要的時間

因此我們提出一個名為Detecting New Anomaly of HTTP的方法，可以自動且快速便是新捕獲的封包是否為**新型態異常**，以降低分析過程所需要的時間成本

## 方法：
我們會以**基於封包內容**的方式進行新型態異常的偵測

我們會對原始資料進行前處理，得到訓練資料。
接著訓練出bloom filter和k-means++模型產生分群的結果。

在偵測時，先使用bloom filter，只需要big O(1)的時間複雜度，辨別新捕獲的封包是不是歷史異常
若不是歷史異常我們利用分群的資訊找出最接近的前??個群，進行比對，比對的過程會利用Levenshtein ratio這個方法，它可以以低誤報的效果，快速偵測新捕獲的封包是不是新穎的異常。
若判別為新型態的異常，會再經過Euclidean distance這個方法，它具有最高的泛化能力，能進一步降低誤報的產生。

## 結果：
在我們與資安研究人員合作標注的資料中，
在4/16測試資料中，有2筆新型態的異常，只有我們的方法可以將2筆都辨識出來。
在5/9測試資料中，有6筆新型態的異常，我們的方法可以抓出5筆，相較於其他方法，我們的效果更好

我們的方法在實際應用中，可以降低約99%分析人員需要分析的log數量

分析人員可以透過，新型態異常指數優先觀看最有可能屬於新型態異常的log，而做進一步的分析