# 人工智慧與深度學習應用

:::info
要記得按Enter 才能正確切出區塊
:::

## 研究題目名稱

基於人臉辨識的社群平台資料找尋系統之照片真偽辨識處理

## 研究動機及目的

現今的網路社群平台活躍，人們的日常生活可說是離不開這些相關平台，不過，由於使用人數極為龐大，在不認識對方的情況之下，想要在平台上找到指定的帳號，就必須得知此特定對象的相關資訊，如：常用英文字串、生日、名稱等等，無法透過外貌特徵尋找特定人物。在現在科技爆炸的年代，卻只能透過原始時代方式的搜尋，可謂是十分的不便利。

在打造一個可以任意搜尋任何人物的平台前，必須有一個十分龐大的資料庫蒐集網路上公開的人物圖像，但在社交網路上，各種圖像皆有，諸如：卡通、動漫、寵物，甚至會有個人圖像是修圖修得過分。為了使平台上搜尋精準度提升，在蒐集圖像時，勢必得過濾非人物圖像且未修圖的照片。因此本團隊針對已修圖的圖片，製作AI辨識照片真偽模型。

由於照片經過處理都會留下痕跡，像是強烈的邊界對比，不自然的平滑，不一致的干擾雜訊。但這些不自然的特徵基本上都是用肉眼難以觀察的，除此之外，人工指認成本高外，就連專家都必須必須消耗時數小時的時間。對於AI而言，在像素這種低階層次卻很容易偵測。
AI只需要幾秒鐘就可以完成偵測，不但可以指認哪一幅照片被動過手腳，同時也指認出照片的哪一部位如何的被改變。

## 相關研究探討

- Adobe的照片真偽辨識
- 拼接（splicing）：將不同圖片的兩部分組合在一起。
- 複製與移動（copy-move）：圖片內的區塊被複製和貼到別的部分去。
- 刪除（revomal）
照片經過拼接、複製移動、刪除等動作後，在原照片的該位置都會產生不一樣的圖片噪訊。
就如拼接上去的物件圖片的解析度會與原照片不盡相同，移動過、刪除的圖片為了填滿、修補也會在該位置留下不同的顏色、亮度變化。

- Google 假圖片辨識工具 Assembler
- Assembler 內建 7 個檢測器，其中與Google Research 合作開發的兩款檢測器分別為 StyleGAN 和 Ensemble Model 模型：
- StyleGAN 是專門用來辨識 Deepfake 技術，使用機器學習來區分真實人的圖像和StyleGAN Deepfake 技術生成的 Deepfake(深度學習偽造->Deep learning + fake)
- Ensemble Model 是整合所有檢測器的訊號進行判斷，從而分析識別影像是否經過多種圖像處理。
- Assembler整合檢測器的演算法，進而分析判斷影像的顏色、噪點、像素、亮度、紋理是否一致，圖片裡的人物是否經過修改變造的可能性。

<!-- - Adobe的照片真偽辨識Learning Rich Features for Image Manipulation Detection
- -->

## 研究內容

利用圖片進行人像搜索勢必要有辨識圖片的資料來源，但若是辨識圖片的資料來源可信度不足，那對於後續的辨識將會有很大的影響，因此蒐集可靠的圖片資料是圖片辨識的最重要的關鍵之一。不管是網路上、還是隨手拍攝的圖片都可以成為日後的數據資料，確保其正確性就極為重要且隨著圖像編輯技術和編輯軟體的發展，低成本的篡改或修改圖像生成過程已變得廣泛，那要如何辨別人像圖片的真偽，就是本次主要之研究內容。

將蒐集的資料做辨別，透過分析圖片修改的比率，將圖片的修改比率做劃分，在一定百分比的歸類於真實可信的圖片，另一組歸類為過度修改不可信的圖片。

針對圖片中已修改的部分，透過RGB圖像內容和圖像噪點來查看哪一處是修改區域，針對局部噪點特徵可以將特定的像素進行分類，確認圖像是否被篡改，並定位被篡改的區域

- RGB Stream
- The RGB stream is a single Faster R-CNN network
- 

- Noise Stream
- 


## 系統設計與技術探討

### 系統架構
首先，會先至各大社群平台用爬蟲的方式蒐集公開的內容，再對此照片進行"是否為原始圖像"進行辨識，如為是，則到資料庫歸檔，否則拋棄此圖像。

### 技術探討
#### 模型
[快速區域性卷積神經網路](https://www.itread01.com/content/1544351780.html)
（FASTER region-based convolutional neural networks, FASTER R-CNN）

## 結論

照片真偽辨識不只是可用應用在本團隊所預計開發的社群平台資料找尋系統，還可以打擊不實的合成圖、假圖氾濫等問題，甚至是幫助新聞媒體與事實查核人員辨別圖片影像是否經過變造修改，進而防止假訊息傳播。在這個「沒圖沒真相」，但謠言滿天飛的時代，新聞可以是假的，圖片甚至影片造假也非難事，運用本次的研究...

## 參考資料

[AI可以快速偵測出假照片](https://www.brain.com.tw/news/articlecontent?ID=46667)
[假圖氾濫，Google 推出假圖片辨識工具 Assembler](https://technews.tw/2020/02/10/google-jigsaw-disinformation-is-more-than-fake-news/)
[P圖真假難分!? Adobe開發AI辨識技術](https://www.ithome.com.tw/news/124056)
[快速區域性卷積神經網路](https://www.itread01.com/content/1544351780.html)
[Learning Rich Features for Image Manipulation Detection](https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhou_Learning_Rich_Features_CVPR_2018_paper.pdf)