# demo影片講稿 ----- 1.動機： 大家好，我們是第四組，我們的主題是唇語辨識密碼鎖，那我們想要做這個主題的動機是希望能夠免除按密碼的不便利性，同時選用唇語也能夠在想要解鎖時，旁邊卻有人的情況下，降低暴露密碼的風險。 ------ 2.流程：(可以配ppt流程圖講解?) - 設定密碼： 首先我們在剛開始使用時要先設定最初的密碼，我們可以按下麵包版上的bottom，此時電腦會顯示輸入密碼的選項，我們會使用電腦的鍵盤輸入密碼，來避免第一次輸入時model辨識錯誤。 ------- * 這邊要注意的是，因為model限制的緣故，我們的密碼是有固定的公式來設定，可以參照以下表格 * 固定公式： command(4) + color(4) + preposition(4) + letter(25) + digit(10) + adverb(4) ---------- ### 參考表格： | 內容 | 內容 | | ------------ | --------- | | 第一個單字(command) | bin, lay, place, set | | | 第二個單字(color) | blue, green, red, white | | 第三個單字(position) | at, by, in, with | | 第四個單字(letter) | A ~ Z | | 第五個單字(digit) | Zero ~ nine| | 第六個單字(adverb) | again, now, please, soon| ------------- - 開始錄影： 按下麵包版上的bottom，rpi會顯示是否需要重新設定密碼，假設沒有要重新輸入密碼，我們可以輸入任意數字來跳過此步驟，跳過之後相機會自動開啟錄影並同時偵測人臉是否在相機前，這時我們就可以用唇語說出密碼，當我們說完密碼後，把臉部移開，rpi會偵測人臉已經離開，並同時停止錄影，rpi會利用ffmpeg來實現自動轉檔的功能，再將檔案丟入model。 ------------- - LipNet model inference： LipNet model會將丟入的影片裁切成一張張的圖片，再利用人臉辨識抓取照片中嘴唇的特徵值位置，裁切成100*50的嘴唇照片，開始辨識。 ------------ - 密碼確認： 假設model辨識出來的密碼跟最初設定的密碼相同，這時led燈會亮起，代表開鎖；假設輸入密碼錯誤，led燈不會亮起，代表沒有開鎖成功，可以按下bottom重新在錄影輸入密碼。 --------------- 3. 介紹model:功能、原理(有時間再詳細說明) model 3-1 ~ 3-3 --------------- 4. 試錯過程 - fps延遲問題(放個debug前影片跟debug後影片比較)