---
tags: 技術研究
---

# AI 證件防偽造 ([參考資料](https://www.secrss.com/articles/7901))
### 假證件辨識
:star: 作法
1. 原本用 template matching 但是準確度不夠，因為圖像在細節上可能不會那麼相似。
2. 最終使用 [SIFT (scale invariant feature transform) matching](https://blog.csdn.net/zddmail/article/details/7521424?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param) (SIFT算法是一種基於尺度空間的算法，該算法特徵是圖像的局部特徵，使其對旋轉、尺度縮放、亮度變化具有保持不變性，對視角變化、方式變換、噪聲也具有良好的穩定性) + [像素哈希法](https://www.pythonf.cn/read/19349) (hash 偽造的圖，可以進一步用相似度將圖分類，把偽造的圖分成一類)
a. 提取關鍵點
b. 描述關鍵點
c. 建立對應關係
d. 消除錯誤匹配點 (matching points)

* [SIFT github inplementation](https://github.com/rmislam/PythonSIFT)

### 竄改訊息偵測
困難點：
1. 負面樣本不足
2. CNN 對隱寫信息表達能力不好。幫助 CNN 去感知到這些差異性

竄改訊息主要分成三種：
1. 從外部環境複製過來對原有圖像的對象進行覆蓋
2. 在圖像進行複制一塊圖像覆蓋到圖像另一個位置
3. 直接對原始圖像進行寫入信息
> 這三種情況對於原始圖像來說它都應該是噪聲數據，使得圖像中的像素達不到持續平滑的效果。所以可以是者

:star: 作法
* 用兩個 CNN 模型來取圖像特徵，一個是使用原 RGB input，另一個模型則是針對 Noise input 做特徵提取，流程圖如下所示：


:question: 怎麼把圖像轉換成 Noise input？
通常要找出圖像中的 noise，試著從圖片中把 noise 去掉會比直接去找 noise 簡單很多，general 的做法是套用：
1. morphological opening
2. median filter
3. gaussian filter

使用完上述影像處理方法後，會得到一個比較粗糙、原始的圖像。把處理後的圖跟處離前的圖取差，就可以得到影像中的 noise 了。

參考資料：[Feature detection on a small, noisy image with OpenCV](https://stackoverflow.com/questions/24293416/feature-detection-on-a-small-noisy-image-with-opencv)

### 其他參考資料
1. [Deep Fake Image Detection Based on Pairwise Learning](https://www.researchgate.net/publication/338382561_Deep_Fake_Image_Detection_Based_on_Pairwise_Learning)
2. [Image forgery detection](https://towardsdatascience.com/image-forgery-detection-2ee6f1a65442)
3. [deep fake detection](https://paperswithcode.com/task/deepfake-detection)