# ppt

## 1. 封面
都可可
## 2. 動機
* 一般生物的限制： 講個人臉辨識的問題，臉部辨識但是疫情戴口罩
(生物特徵的選取)
* 人類姿勢的習慣：每個人走路的習慣都不一樣(看背影)
(姿勢的擷取關節點)
* OpenPose的普遍應用： 透過深度學習在影像當中擷取人的關節點，大多應用都是辨認動作，像是辨認瑜珈動作，沒有看到身分辨識的應用
(不同速度都可以辨識身分)
* 速度的連續性：因為速度是連續性的，不可能收集所有速度的資料，因此我們希望訓練資料是在有限的情況下，模型卻能在任意速度中都可以辨識身分

## 3. 相關研究
不說
## 4. 資料取得
將影片丟到OpenPose的模型擷取具時效性的關節點
而每一筆資料都是連續50幀的
資料組合會有三種，下面實驗會用到到時候再說

## 5. 實驗設計
以下設計了四個實驗(default要念小標)
## 6. 1-1身分卷積網路
架構圖：
希望編碼器擷取資料特徵，然後使用分類器透過編碼器擷取的資料特徵來辨識該資料的身分類別
實驗結果：
* t-SNE圖: 透過t-SNE將編碼器擷取出的特徵的高維資料降維成二維圖形，本專題也透過該類型的圖來探討特徵擷取狀況 (淺色是訓練資料深色是測試資料)
* 資料A: 訓練資料與測試資料都有全部的身分及速度類別
* 使用資料組合A的實驗結果: 左圖顯示因著四種身分類別而分成四大塊，但同一個人的每種速度會有分群現象，因此可輕易知道速度特徵仍對特徵空間有一定的影響。 => 次要特徵分群明顯，已經初步達到透過openpose進行身分辨識的目標
* 資料B: 測試資料中的速度類別只有一種，且該速度類別不存在於訓練資料中
* 使用資料組合B的實驗結果: 圖左顯示出某個測試資料幾乎重疊在另外兩個人的訓練資料上，這代表了此模型之編碼器無法有效的從沒有看過的速度類別進行身分特徵擷取。 => (模型一般化能力差，這邊不要提一般化)

## 7. 1-2速度卷積
同實驗1-1，但速度與身份兩種特徵對調

## 8. 實驗一結論
一個發現兩個問題
- 分類器對編碼器的所擷取特徵的影響
- 分群現象明顯
- 一般化效果不佳

## 9. 2-1身分卷積網路+速度鑑別器
架構:
跟上面的實驗架構一樣但是加了鑑別器，希望利用類似GAN那種對抗式的minimax訓練，使得鑑別器能夠去對編碼器做負回饋使得編碼器所擷取出的特徵不會有和速度相關的。
(那編碼器要如何訓練，會輸入進一對資料，若那對資料是相同的速度那希望鑑別器就是true，反之若那對資料是不同速度的就是false)
實驗結果:
資料組合A: 改善次要特徵分群明顯的問題
資料組合B: 這代表了此模型之編碼器無法有效的從沒有看過的速度類別進行身分特徵擷取。 => (模型一般化能力差，這邊不要提一般化)
tsne圖分析，然後解決了實驗一的分群和一般化差(在訓練資料中沒看過的次要特徵當作測試資料，結果卻不錯)

## 10. 2-2速度卷積網路+身分鑑別器
同上
## 11. 實驗二結論
改善問題一. 次要特徵分群明顯
改善問題二. 模型一般化能力差
## 12. 3-1一個編碼器的卷積網路
公用編碼器原因: 因為我們只有身分和速度的label，所以身分和速度是我們能夠控制得特徵，因此希望編碼器所擷取的主要特徵是身分和速度，這樣或許我們的可操控性會更好，所以我們打算設計一個共用編碼器會擷取身分和速度，所以下面加了身分和速度分類器，因為實驗一發現分類器會影響編碼器，所以果然在tsne圖上被分成20大塊
實驗結果圖: 20個類別所以很好分，但是如果成千上萬種類別的話分類器會不好分割而不好訓練，那也因為分類器會影響到編碼器，所以有可能編碼器會往一些不能預期的方向且近，最慘則有可能會使得整個模型無法收斂。
承先啟後: 將模型加上專屬編碼器，從公用特徵中再去擷取想要的特徵以達到能使編碼器所擷取的特徵比較聚合。

## 13. 3-2三個編碼器的卷積網路
果然結果就比較聚合，不過還是可以看出分成一塊塊的
於是就想要利用實驗二的經驗，加入鑑別器，希望能夠去除不想要的特徵
## 14. 實驗四含身分及速度的卷積網路+鑑別器
所以我們就設計了下面這個架構，tsne圖就聚合成一塊，如此就可以改善我們上述提到的當有很多類別的時候，聚成一塊，會讓分類器比較好去做分類。
## 15. 結論
我才不要咧我也不要咧詠晴呆，她都沒有發現

## 16. 參考文獻