# 附件一「漸凍人叫人鈴及輸入輔具可行性分析研究」計畫書
* 執行單位：語音暨多媒體訊號處理實驗室/國立臺北大學通訊工程學系
* 執行期限：民國 114 年 2 月 1 日至民國 114 年 5 月 31 日。
* 計畫主持人：江振宇/副教授
* 協同主持人：吳允成/中華紙漿公司資訊安全長
* 研究獎助生：
* 林恭緯/碩士班二年級
* 陳虹妤/碩士班一年級
* 張朝凱/碩士班一年級
* 黃聿閩/學士班二年級

## 1. 摘要

叫人鈴是漸凍症病友的重要溝通工具，能在病友臥床時通知照護者。現有叫人鈴多採用眼電訊號或腦波訊號技術，成本高且易受干擾，難以普及。本研究旨在評估利用低成本的 MCU 以及 MPU 硬體，開發穩定且經濟的叫人鈴系統之可能性，重點包括：
1. 使用紅外線眼動偵測法簡化眼動滑鼠演算法，驗證低價紅外線攝影技術的可行性。
2. 回歸基礎研究，使用中低價位實驗室儀器量測眼電訊號或肌電訊號，分析電極貼片位置和訊號特性。
3. 利用市售語音辨識開發晶片，建立語音驅動叫人鈴。
4. 撰寫輔具滑鼠和語音叫人鈴的技術文件，推動後續研發和重複製作。

希望在未來能透過本研究之成果，進一步製作出低價且實用的叫人鈴系統，提升病友生活質量。

## 2. 研究動機與研究問題

### 2.1 背景

叫人鈴的用途是在能讓病友於臥床的狀況下，通知照護者前來病友身邊進行照護，這對於漸凍症病友來說是很重要的溝通工具，尤其是在病友言語或是肢體無法方便觸發一般呼叫鈴時，需要仰賴漸凍症病友身體微量的動作或語音進行呼叫觸動，微量的動作比如眼睛的轉動、挑眉、以及微量的肢體動作，而語音可以是病友仍可以發出的微量語音。另外，有漸凍人協會病友以個人專業知識，以市面上購買得到的低價且方便實驗使用的電子套件，建立出許多款方便漸凍病友使用的輔具滑鼠以及語音喚醒叫人鈴，希望能進一步在未來讓病友能夠使用這些工具。

### 2.2 問題

目前市面上或是學術研究單位建立的叫人鈴，大多以眼電訊號或是腦波訊號的觸發技術為主，技術以及研發門檻高，短期內無法讓需要使用叫人鈴的病友能以合理的價格購置穩定可使用的系統。以技術上來看，眼電訊號以及腦波訊號通常較為微弱，很容易因為環境以及接地因素受到其他訊號的干擾，以致於需要專業知識為基礎的儀器校正，造成使用上的困難。因此本計畫案將採用較低成本的方法進行，是藉由近幾年 MCU ( microcontroller unit)、MPU (microprocessor)、以及 deep learning 技術的進步，有望將之前之方法進行再製以及重新檢視其可行性。將利用目前低成本的 MCU、MPU 的開發板做為發展平台，藉由學校提供的專業示波器，進行最基礎的叫人鈴開發。

在病友建立的輔具滑鼠以及語音叫人鈴方面，已經有可以使用的雛型系統，但因為就是雛型系統，並沒有機殼保護系統以及使用者，以至於會有系統電路裸露的狀況，為了要能夠讓這些工具能持續進一步改進且給予更多需要的病友使用，可以使用 3D 印表機來製作雛型系統的機殼，且將建立這些工具的過程以技術文件撰寫下來，以方便傳承、研發、以及邁向工業化製作。

### 2.3. 目的

本研究的目的是在進行大規模實驗前的可行性分析，為了避免眼電訊號以及腦波訊號高成本以及容易受干擾的問題，本研究將著重在：
1. 使用紅外線眼動偵測法，將目前眼動滑鼠較為複雜的演算法，化簡為只要偵測眼睛是否有轉動，本研究將先驗證是否能以低價的紅外線攝影技術來記錄人的眼動資訊。
2. 眼電訊號的研究將回歸基礎研究，本研究將使用中價位以及低價位的實驗室量測儀器，用以量測眼電訊號或是肌電訊號，討論電極貼片於使用者身上的固定位置、接地、以及量測得到的訊號特性分析。
3. 使用目前市面上可以購得的語音辨識開發晶片，建立病友可以使用的語音驅動叫人鈴。
4. 將病友建立的輔具滑鼠以及語音叫人鈴製作過程，撰寫成技術文件，方便後續研發以及重複製作使用。

希望藉由以上的探討，進一步製作出低價且可用於病友生活中的叫人鈴系統。

## 3. 文獻回顧與探討

### 3.1 紅外線眼動法

紅外線眼動法是類似眼動儀所使用的技術，目前國際上最著名的眼動儀技術公司有 Tobii [1]、Sense [2]、SMI [3]、SR Research (Eyelink) [4] 等，然而因為要能夠以低價以及較為現成的材料建立眼動儀，本研究將參考目前世界最著名有關 DIY 眼動儀的開源計畫，也就是 The EyeWriter 2.0 (https://www.instructables.com/The-EyeWriter-20/) [5]，在這裡我們將介紹該計畫的技術核心，以此技術核心用於本研究計畫的紅外線眼動叫人鈴方法，透過紅外線影像特性來偵測眼睛瞳孔動向。

我們在這裡介紹 EyeWriter 2.0 所提所提出的眼動偵測方法，該計畫採用一個可以捕捉紅外線頻段的攝影機，以及兩組交替閃爍的紅外線燈，由於人眼的可見光的波長一般落在 380nm 到 780nm 之間，為了能不造成使用者眼睛上的負擔，可使用波長 850nm 的紅外光作為紅外線光源，如圖(一)所示，攝影機放置於圖(一)標示編號 1 的地方，會採用沒有紅外線濾鏡的型號，並且在攝影機鏡頭前貼上一層僅允許紅外線燈的波長進入的濾鏡，這樣一來就能夠讓攝影機只能夠捕捉到紅外線燈所照亮並反光的區域，反光的區域就是使用者的臉以及眼睛。

##### <center> 圖(一)：EyeWriter 2.0 DIY 實體示範圖。 </center>

紅外線燈可分為兩組：1) 紅外線燈編號 1、2) 紅外線燈編號 2，兩組會使用攝影機所提供的垂直同步訊號 (VSync) 來作為交替閃爍的切換訊號。紅外線燈編號 1 會安裝在相機上，使用低功率的紅外線燈來照亮使用者的眼睛，當紅外線燈 1 亮起時，攝影機會拍下奇數張照片，由於紅外線是從鏡頭周圍發射出去，所以就像紅眼相機一樣，這會使得照片中人眼瞳孔的區域特別明亮。拍攝完畢以後，編號為 1 的紅外線燈熄滅 (使用 VSync 訊號觸發)，亮起安裝在螢幕兩側編號為 2 的紅外線燈，並拍攝偶數張照片，由於紅外線燈編號 2 是從螢幕兩側發射出去，所以攝影機並不會捕捉到紅眼的部分，導致瞳孔的區塊變暗，但編號 2 的紅外線光源會讓使用者眼睛反射紅外線光源，在攝影機上成像在與編號 1 紅外線光源紅眼不一樣的位置。

最後將兩張圖片為一組，奇數張照片扣除偶數張的照片資訊，由於偶數張的圖片沒的瞳孔區高亮度的紅眼特徵，因此兩張圖片扣除後會保留瞳孔區塊的資訊以及光源 2 的兩個光源反射，接下來便可以使用以上兩個光源的相對位置來推論瞳孔所注視的方位。為了能夠校準瞳孔注視螢幕的推論，可以使用像是早期的觸控手機的觸控點螢幕校正方法，依序在螢幕中央，四個角落亮起紅點，讓使用者盯著亮起的紅點，來定位使用者的瞳孔所對應的螢幕邊界範圍。

### 3.2 眼電訊號法

#### 3.2.1 基礎原理

EOG 是 Electrooculography 的縮寫，中文稱眼電圖技術，其原理是因為眼睛可以被視為一個 dipole，角膜的部分通常是帶正電，而視網膜是帶負電，我們可以使用三個電極貼片，其中兩個電極貼片貼在左眼或右眼的上下方，或是眼睛的左右方，而第三個電極貼片可以貼在耳後或脖子上作為接地，如果是將兩個電極貼片貼在左眼，且兩個貼片是貼在左眼的左右邊角，當人將眼睛往右看的時候，在左眼內側和外側之間的電極貼片就會感測到電位差，若人往左邊看，則會在兩個電極貼片之間感應到反方向的電位差，因此我們可以用此人轉動眼睛所產生的電位差訊息，轉化為叫人鈴的觸發訊號。

#### 3.2.2 精機中心開發「EOG 眼控型溝通輔具」簡介 [6]

精機中心開發「EOG 眼控型溝通輔具」為應用三個貼片式感應器來偵測人體「眨眼」的訊號，透過訊號放大器將訊號轉換成 0 ~ 5V 電壓訊號，再搭配訊號分析辨別動作與頻率次數。圖(二)為輔具的功能及對病友友善的要素。圖(三)與表(一)為各項硬體的功能描述。

##### <center> 圖(二)：眼控型溝通輔具功能說明 </center>

##### <center> 圖(三)：眼控型輔具系統拆解圖 </center>

##### <center> 表(一)：眼控型輔具硬體項目 </center>

眼控型輔具的訊號連接如圖(四)所示，三個感應貼片會透過耳機孔將訊號會傳至放大器，再經過濾波電路、放大電路傳送回微控制器 (MCU)，如果病友在某一個時間內連續眨眼次數超過四次，便會出發蜂鳴器及將警報傳送至通訊軟體。但由於蜂鳴器太小聲，所以亦可以使用連上網路的 Wi-Fi 音箱，這樣當叫人鈴被觸動響起，Wi-Fi 音箱也會想起通知。

##### <center> 圖(四)：眼控型輔具系統應用圖示 </center>

圖(五)為感應貼片，凝膠可讓貼片黏於受測者皮膚上。圖(六)為耳機插頭訊號導線，可將三個眼動訊號傳送出來。

##### <center> 圖(五)：眼控訊號感應貼片 </center>

##### <center> 圖(六)：訊號導線 </center>

下圖(七)所示為精機中心的 EOG 應用中，電極位置與訊號放大電路，而前者有一接地電極通常放在脖子後面。訊號放大器會將來自電極之微弱訊號放大為 0~5V 內的訊號。

##### <center> 圖(七)：眼動訊號放大電路圖示 </center>

#### 3.2.3 精機中心開發「EOG 眼控型溝通輔具」可能的技術問題

由其公開與網站上的資訊，我們將其系統可能的問題在以下列出：
1. 文件中所敘述的使用方法是請使用者「眨眼」，與其文中說明是使用眼電訊號的原理不同，「眨眼」比較可能是肌電訊號。
2. 如果該系統是使用眼電訊號觸發，文中所述貼片位置應該是讓使用者以眼球「上下」轉動來產生電極鐵片上的電位差變化，如果是要偵測眼球「左右」轉動所造成的電位差變化，貼片位置理應上下錯開位於眼睛的左右方。
3. 大部分市面上以及被報導的系統，貼片數量應當為 5 片而非 3 片。
4. 眼電訊號法推測為透過眼睛移動帶動電荷朝某方向累積，進而讓貼片量測到訊號。整個電路部分，接地的位置會影響結果，由於所測的訊號微弱，如果接錯地，就會量測不到，造成無 EOG 訊號來觸發叫人鈴。

經過實際使用「EOG 眼控型溝通輔具」之後，實際使用狀況如圖(八)所示，我們發現以下問題：
1. 電量消耗異常，即使是在關機狀態下，一小時內可以從 16% 降到 0% 的電量。
2. 必須在一定電量以上才有辦法準確偵測眨眼，在較低電量情況下，比如 16% 的電量，會量測不到甚至會不明所以地偵測到眨眼。更具體的說，輕輕眨的時候會不定地送訊號，但用力眨時卻沒反應。該電路中的放大器部分，應該對於電源供應很敏感，需要在正常的電量下，才可以正常工作。
3. 貼片只能使用一次，也就是說，貼上、拿下、再貼上之後，就會沒什麼黏性，可能需要額外的導電膠來輔助黏貼電極片於人臉上面的相關量測訊號位置。

以目前測試一台的狀況，可以大概理解該叫人鈴應該要在儲電 90% 以上清況下工作，才可以較穩定，但仍需要大量測試不同機器樣本後才可以再做定論和使用建議。本計畫書也將實測此精機中心開發「EOG 眼控型溝通輔具」的影片放在以下連結，方便確認實測內容：

{%youtube RtZVXHdqJC0%}
##### <center> 圖(八)：實測精機中心開發「EOG 眼控型溝通輔具」之過程截圖畫面，完整影片請看：https://youtu.be/RtZVXHdqJC0?si=PNpS22kwWKsdOaoj</center>

### 3.3 關鍵詞語音法
#### 3.3.1 Google Euphonia [7]

Google 於 2021 年發表了使用語音辨識技術的叫人鈴方法，讓因為嚴重的語言障礙限制無法發出正常語音的朋友，使用孤立的開元音（/a/）做為觸動叫人鈴的訊號。該研究訓練了一個神經網絡（NN）來檢測語言障礙者發出的孤立開元音。該神經網絡通過兩階段方法進行訓練，第一階段為預訓練階段，使用以下兩種大類別的音訊來進行訓練：1) 來自無語言障礙者的開元音（/a/）語音樣本以及 2) 與開元音（/a/）無關以及背景噪音之聲音樣本；第二階段為模型微調階段，使用語言障礙者收集的開元音（/a/）樣本，做為調適與料，將預訓練模型調適成聽得懂語言障礙者所發出的開元音（/a/）。該模型可以在行動裝置上使用，讓使用者以發出開元音（/a/）作為一個開關，進而提醒護理人員。

#### 3.3.2 NTPU ASR [8]

本研究實作一個語音辨識基礎系統的相關技術，我們將技術以三個模組來說明，分別是聲學模型、搜尋網路、以及搜尋引擎。聲學模型包含了聲學參數的抽取以及聲學模型的訓練。搜尋網路是使用加權有限狀態轉換器(weighted finite state transducer, WFST)來建立，研究中說明了 WFST 的最基本定義，並且詳細說明如何使用 WFST 的幾個重要處理函式，來將隱藏馬可夫模型 (hidden Markov model, HMM) 網路、音素 (phoneme) 前後文 (context-dependent) 網路、詞典 (lexicon) 網路、以及文法 (grammar)網路整合成一個辨認搜尋網路 (integrated search network)。搜尋引擎的部分，包含了維特比演算法(Viterbi algorithm) 實作的方法、路徑回溯 (backtrace) 的延遲決定 (delay decision)、以及對辨認結果進行置信測度 (confidence measure) 的評估。為了驗證本實作語音辨識系統的實用性及效能，本研究以此辨認系統設置了一英文喚醒詞 (wake-up word) 以及一英文關鍵詞 (keyword spotting) 的語音辨識器，探討了聲學模型計算速度以及辨識率等相關議題，最後也提出了一些未來發展的方向。

#### 3.3.3 Micro:bit+SU-03T

漸凍人協會病友以個人專業知識，使用市面上購買得到的低價且方便實驗使用的電子套件，建立出許多款方便漸凍病友使用的輔具滑鼠以及語音喚醒叫人鈴，其中有使用到 Micro:bit [9] 以及 SU-03T [10] 開發板，我們在這裡對於這兩項進行簡介。

Micro:bit 是專為教育與創客設計的小型微控制器 (MCU)，內建 LED 顯示燈、按鈕、各種感測器（如加速度計、磁力計）和多種連接功能。使用者可以透過拖放編程的方式，設計簡單的互動行為，讓 Micro:bit 實現如 LED 動畫、輸入判斷等基本功能。同時，使用者也可利用網路上預設的模組（如滑鼠、鍵盤、藍牙連接等）來擴展 Micro:bit 的功能，甚至可以與其他設備互相連線使用，實現更豐富的應用場景。

而 SU-03T 是一款硬體的語音辨識模組，能夠辨識一組預設的指令。此模組體積很小可以與 Micro:bit 設備結合使用，使設計的裝置具備語音控制的功能。並且官方提供了十分方便的 [SU-03T平台](https://www.smartpi.cn/#/)，讓使用者可以自製 SU-03T 的韌體工具，用戶可以根據需求去進行編輯。

將 SU-03T 與 Micro:bit 結合，可以在無需額外硬體擴展的情況下，實現語音控制功能。透過預設指令詞進行語音輸入，SU-03T 提供的 UART 傳輸介面，使 Micro:bit 能夠方便的接收並解析指令，從而使LED燈變化或觸發其他事件（例如音效撥放，滑鼠點擊功能），來達到音控制的互動效果。

## 4. 研究方法及步驟

此計畫的目的是要先驗證使否能使用低價的電子零件、儀器、微處理器 (MPU)、以及微控制器 (MCU) 來獲取可進一步做為偵測病友的眼動、眼電、挑眉、語音等訊號，其中眼動以及挑眉可使用紅外線攝影技術，眼電將使用基礎電學實驗等級的示波器來作為量測儀器。

### 4.1 紅外線眼動法

#### 4.1.1 系統概念方塊圖

紅外線眼動法的實驗概念如圖(九)所示，中央的 IR LED (圖(一)裡編號1) 發出光源以後會照亮使用者的臉部包含瞳孔的區塊，反射回光線到紅外線 filter 上，通過此濾鏡後只剩下波長 780nm 以上的光線可以進入攝影機，攝影機將畫面拍攝下來後，將此照片儲存到個人電腦、Raspberry Pi 或是 MCU 晶片上暫存，並傳送VSync 訊號給兩側的 IR LED(圖(一)裡編號2)，使其亮起，並熄滅中央的 IR LED (圖(一)裡編號1)，此時兩側的 IR LED 會照亮使用者臉部的區塊，反射回一般照明的光線，再次通過濾鏡，將波長低於 780nm 的光線給濾除，並使光線能被攝影機捕捉，攝影機將捕捉到的照片傳入個人電腦、Raspberry Pi 或是 MCU晶片上，並發送 VSync 訊號給 IR LED，使兩側的IR LED熄滅，並亮起中央的IR LED，如此往復。

##### <center> 圖(九)：紅外線眼動偵測實驗概念圖。</center>

如圖(十)所示，從攝影機傳遞進入個人電腦、Raspberry Pi 或是 MCU 晶片上的 picture N 和 picture N+1 會暫存在其中的記憶體中，每儲存兩張照片就將兩張照片相減，就能留下瞳孔高亮的區塊，將相減後的瞳孔區塊作為輸入給 Pre-trained Model 判斷眼部動作以此判斷是否啟動叫人鈴。

##### <center> 圖(十)： picture N 以及 picture N+1 之差異值用以加強瞳孔區塊影像。</center>

#### 4.1.2 攝影機以及光學紅外線濾波

實驗預計使用 PS3 Eye Camera 以及 OV5647-75 FOV IR Camera module，由於此攝影機不配備有 IR filter，因此除了普通人的可見光波外，還能捕捉到一些不可見光波的波長，為了完全阻隔室內光源對紅外線眼動儀造成影響，使用 System Polyester 87C Infrared Filter 安裝至鏡頭前，此濾鏡能夠確保波長大於780nm 的光源通過。

有鑑於大多數人的可見光波長落在 380nm 到 780nm 之間，本研究實驗預計使用 850nm 的波長來做為紅外線的光源 (IR LED)，如此便可防止室內的光線進入鏡頭造成誤判的情形的同時，也能避免光線閃爍造成使用者肉眼的不適。

#### 4.1.3 垂直同步處理方法

人眼所看到的影片實際上是由一張張快速顯示的圖片所串成，在處理影像的時候，會需要使用到 VSync (垂直同步) 訊號的技術，比較常見的應用是使用於顯示卡和電腦螢幕的圖像處理，如圖(十一)所示。理想下，顯示卡繪製一張圖像給 buffer 1 時，螢幕讀取 buffer 2 內緩存的圖像 (左圖)，當顯示卡繪製完成下一張圖時，螢幕也同時讀取完成 buffer 2 內緩存的圖像，此時螢幕開始讀取 buffer 1 內緩存的圖像 (右圖)，同時顯示卡會繪製 buffer 2 的下一張圖片，如此一來螢幕便可以順利且正常的運作。

##### <center> 圖(十一)： picture N 以及 picture N+1 顯示於螢幕上的理想狀況。</center>

但現實是由於顯示卡繪製一張圖片的速度非常快，通常會快過螢幕所能顯示的速度，所以會發生圖(十二)的狀況，當螢幕仍在讀取 buffer 2 內的圖片資訊(picture N-1)，即圖中的紅色區域，此時顯示卡已經將 buffer 1 給完全繪製完成 (picture N)，即圖片中綠色區域。接續，就會可能發生如圖(十三)以及圖(十四)的情形。

為了解決畫面割裂的問題，衍生出了垂直同步技術也就是 VSync。VSync 實際上是一個脈波訊號，一般家用的個人電腦開啟垂直同步後，每當顯示器的圖片的一禎讀取完畢，就從顯示器的 VSync 腳位發送一個脈波訊號給顯示卡，通知顯示卡繪製下一禎圖片。

而攝影機擷取到的影像如何傳入電腦系統裡面，也是會有類似 VSync 的信號機制，讓接受攝影機影像的電腦系統或其他需要同步的系統，能夠正確同步每一個 frame 的影像資料，避免螢幕影像割裂的現象。

##### <center>圖(十二)：當螢幕仍在讀取 buffer 2 內的圖片資訊 (picture N-1)，即圖中的紅色區域，此時顯示卡已經將 buffer 1 給完全繪製完成 (picture N)，即圖片中綠色區域。</center>

##### <center>圖(十三)：顯卡開始繪製 buffer 2 (picture N+1)，即圖片中藍色區域，並且超過螢幕讀取 buffer 2 的速度，此時螢幕上的 picture N-1 (紅色區塊)還未顯示完全，就會讀取到 picture N+1 (藍色區塊)，造成螢幕影像割裂。</center>

##### <center>圖(十四)：割裂畫面。</center>

#### 4.1.4 閃爍機制之設計

在本研究的實驗中，攝影機拍攝的照片寫入 buffer 的速度和 IR LED 的閃爍頻率也必須要同步閃爍，必須等待攝影機將拍攝的圖片寫入 buffer 提供給 MCU 讀取後，才可以拍攝下一禎的圖片，因此我們預期使用一個 T Flip Flop 來將建立閃爍同步方式，以下我們在這裡先介紹 T Flip Flop 的特性，其真值表如下:

| $$T$$| $$Q_{N+1}$$ |
| -------- | -------- |
| $$0$$ | $$Q_{n}$$ |
| $$1$$ | $$\bar{Q_{n}} $$ |

其中 T 為輸入，$\bar{Q_{n}}$ 為下一刻的輸出，T Flip Flop的特性為當輸入訊號為低電位的時候，輸出的狀態和前一刻相同，當輸入訊號為高電位的時候，輸出的狀態為前一刻輸入狀態的反向。
T Flip Flop 通常有 1 個輸入(也就是T) 和兩個輸出，分別是 ${Q_{n}}$ 以及 $\bar{Q_{n}}$，只需要將輸入 T 接上攝影機的 VSync，輸出端${Q_{n}}$ 和 $\bar{Q_{n}}$ 分別接上 IR LED 1 和 IR LED 2，即可確保攝影機處理影像的速度和 IR LED 閃爍的速度同步。

#### 4.1.5 Racing problem

由於 T Flip Flop 本身的元件構造非常簡單，所需要的作動時間非常短，VSync 的脈波工作週期可能足夠讓 T Flip Flop 多次做動並造成競逐 (Racing problem) 現象，如圖(十五)所示。為了避免這一個狀況，需要在輸入端增加一個頻率大高 VSync 至少4倍的週期脈波 CLK，以確保能百分百捕捉 VSync 的訊號，改良後的電路更改如圖(十六)所示，該電路是邊緣觸發的電路，可以避免競逐的問題。


##### <center>圖(十五)：Racing Problem 示意圖 </center>

##### <center>圖(十六)：邊緣觸發的電路，可以避免競逐的問題 </center>

### 4.2 眼電訊號法

#### 4.2.1 系統方塊圖

眼電訊號法的實驗方法如圖(十七)所示，當使用者眼球有移動時，電極貼片便會接收訊號，透過訊號導線再傳到示波器。實驗室裡的示波器內有訊號放大功能，因此不需要額外接放大電路或訊號放大器。而電極貼片會使用型號 [SEN-12969](https://www.taiwansensor.com.tw/product/biomedical-sensor-pad-10pack-%E9%9B%BB%E6%A5%B5%E7%89%87-%E9%9B%BB%E6%A5%B5%E8%B2%BC%E7%89%8710%E7%89%87-sparkfun-%E8%82%8C%E9%9B%BB%E6%84%9F%E6%B8%AC%E5%99%A8%E9%96%8B%E7%99%BC%E5%A5%97%E4%BB%B6/) 之貼片，訊號導線會使用與精機中心相同的鈕扣型 3.5 耳機插頭訊號導線。示波器部分，會使用實驗室中現有的 [TDS 2012C](https://www.radwell.com/Buy/TEKTRONIX/TEKTRONIX/TDS2012C/) 示波器，另外，我們也會買 ADI 公司的便宜示波器 [ADALM2000](https://www.analog.com/en/resources/evaluation-hardware-and-software/evaluation-boards-kits/adalm2000.html#eb-overview) 。

##### <center>圖(十七)：眼電訊號法的實驗方法 </center>

#### 4.2.2 實驗步驟
1. 購買電極貼片（SEN-12969）與連接之導線 (鈕扣型 3.5 耳機插頭訊號導線）
2. 至實驗室使用示波器 (TDS-2012C或ADALM2000) 實際量測
3. 觀察示波器波形，驗證是否會出現圖(十八)的波形。
##### <center>圖(十八)：可能之眼電訊號量測波形。</center>

4. 若沒有符合，需討論出誤差或導致量出不同波形的原因。
5. 比較貼片位置，如圖(十九)的錯開相對位置、以及如圖(二十)的非錯開位置。
6. 釐清接地的位置(是接大樓的地還是接人體的地)

>
##### <center>圖(十九)：為錯開狀況，應僅可以偵測到眼睛左右的移動。</center>

##### <center>圖(二十)：為非錯開狀況，應僅可以偵測到眼睛上下的移動。</center>

### 4.3 以 Micro:bit 為開發平台的輔具滑鼠
病友有建立三種輔具滑鼠，分別是小蝌蚪、小橘喵、藍牙吹吸切換開關，大部分是以小動物名稱做命名，以下在這份計畫書中對於這些小動物做簡單說明：

1. 小蝌蚪
小蝌蚪主要用於模擬鍵盤按鍵操作，例如tab、enter等等，支持多種觸發模式，以便於用戶實現按鍵功能的快速自定義和模擬。
2. 小橘喵
小橘喵是一款語音滑鼠，透過語音指令實現滑鼠的方向控制、點擊、滾動等操作。支援音量調節、速度與延遲設定。除了語音控制，同時也能透過按鍵操作進行輔助控制。
3. 藍牙吹吸切換開關
藍牙吹吸切換開關結合氣壓感測器（Arduino HX710，0kPa-40kPa），通過吹氣或吸氣的壓力變化去觸發鍵盤的操作（如Tab與Enter），實現無接觸的開關切換功能。

目前已經有將小飛鼠的製作過程，寫成一技術文件，如下：
https://hackmd.io/@9KvvH16wQKCNkiQnydFUsQ/BJKEVlo2R

由於使用 Micro:bit 建立的輔具沒有機殼，會有電子零件露出，很容易讓使用者會有接觸到輔具電子零件尖角，讓病友會有不方便使用的狀況，因此本計畫將使用市面上可以買到的機殼包覆雛形輔具，再輔以 3D 印表機製作出機殼難以處理的特殊電子零件包覆空間。

除了以上將實體輔具製作出來以外，本計畫會將以上列出之病友小動物作品對應的技術文件撰寫出來，方便為未來重新製作以及傳承。

### 4.4 以 Micro:bit+SU-03T 開發之語音輸入法

此部分已經有成熟的技術文件可以遵循建立，如 https://sites.google.com/cies.tn.edu.tw/codingrobot/microbit%E7%9B%B8%E9%97%9C/su-03t%E8%AA%9E%E9%9F%B3%E8%BE%A8%E8%AD%98?authuser=0 文件所示，所需要的零件包含：
1. BBC micro:bit V2.21
2. SU-03T 語音辨識模組

## 5. 預期結果及時程
本計畫的計畫期程預計開始日期是 2025 年 2 月 1 日至 2025 年 5 月 31 日為止，共 4 個月，以下為各項工作的規劃期程。

### 5.1 紅外線眼動法
建立基礎紅外線眼動偵測雛形系統，此系使用個人電腦以及 RPI 等級電腦，配合紅外線攝影方法，能在電腦螢幕上顯示紅外線頻帶反射之瞳孔以及非瞳孔的眼球反射區域，並呈現奇數以及偶數影像禎紅外線之差異影像，凸顯因為眼睛轉動造成瞳孔反射之紅外線相對於其他眼睛區域紅外線反光的相對位置，進而證明使用紅外線瞳孔影響可用於眼動叫人鈴的可行性。工作期程規劃如下：
1. 第一階段 (計畫執行的第一個月)：建立以個人電腦螢幕顯現瞳孔眼動。
2. 第二階段 (計畫執行的第二個月)：建立以 Raspberry Pi 螢幕顯現瞳孔眼動。
3. 第三階段 (計畫執行的第三、四個月)：建立以 MCU 螢幕顯現瞳孔眼動。

### 5.2 眼電訊號法
1. 第一階段 (計畫執行的第一個月)：完成漸凍人協會中區 PMC 捐贈的 20 套 EOG 叫人鈴，確認不能使用的原因，並提出解決方法
2. 第二階段 (計畫執行的第二、三、四個月)：執行眼電訊號研究，使用電極貼片、示波器量測因為眼睛轉動或是眼睛附近肌肉動作所造成的電訊號、討論不同電極片位置對於示波器擷取訊號的影響，並將所有觀察以及討論撰寫成技術文件。

### 5.3 以 Micro:bit 為開發平台的輔具滑鼠
完成以下小動物輔具的技術文件，並且可重複製作出成品：
1. 小蝌蚪：於計畫執行的第一個月內完成。
2. 小橘喵：於計畫執行的第三個月內完成。
3. 藍牙吹吸切換開關：於計畫執行的第三個月內完成。

### 5.4 Micro:bit+SU-03T

此項目將於計畫執行的第四個月內完成。

## 6. 經費規劃
整個計畫提出支經費共為 200,000 元，依據臺北大學研發處規定，其中 15% 為行政管理費用，其他可用於人事費、業務費、以及設備費，簡表如下表(二)所示。

| 經費項目 | 支用經費 | 說明 |
| -------- | -------- | -------- |
| 人事費 | 123,600 | 研究獎助生 (四名) 經費。 |
| 業務費 | 11,400 | 消耗性器材，包含電子零件以及 IC 等 |
| 設備費 | 35,000 | 3D列印機 |
| 行政管理費 | 30,000 | 人事支出的二代健保由行政管理費支應 |
| 計畫經費總額 | 200,000 | |

### 6.1 人事費 (123,600 元)
1. 主持人
* 江振宇/通訊工程學系副教授：0 (月支) x 4 (月數) = 0 (新台幣)
2. 協同主持人
* 吳允成/中華紙漿公司資訊安全長：0 (月支) x 4 (月數) = 0 (新台幣)
4. 兼任助理 (研究獎助生)
* 林恭緯/通訊工程學系碩士班二年級：10,300 (月支) x 3 (月數) = 30,900 (新台幣)
* 陳虹妤/通訊工程學系碩士班一年級：10,300 (月支) x 3 (月數) = 30,900 (新台幣)
* 張朝凱/通訊工程學系碩士班一年級：10,300 (月支) x 3 (月數) = 30,900 (新台幣)
* 黃聿閩/通訊工程學系學士班二年級：10,300 (月支) x 3 (月數) = 30,900 (新台幣)

### 6.2 業務費 (共 11,400 元)
* 消耗性器材 (共 11,400 元)

1. Kendall Meditrace [100型小電極貼片](https://shop.cpu.com.tw/product/39205/info/?srsltid=AfmBOorhoDa6_loKY5vy22wRv0TNKoXI2I2ovKkwU3W9Mg4dziyzWYD1rww)。
2. IC 組合: [74LS00](https://www.xecor.com/blog/74ls00-pinout-datasheet-truth-table-uses)、[74LS08](https://www.digikey.tw/zh/products/base-product/onsemi/488/74LS08/229)、[74F00](https://www.digikey.tw/zh/products/detail/texas-instruments/SN74F00N/373665)、[74FS08](https://tw.element14.com/texas-instruments/sn74f00n/logic-quad-2-in-nand-gate-14dip/dp/3120407?CMP=KNC-GOO-SHOPPING-3120407&srsltid=AfmBOooCX1CcNedaCoDVEMWn4WBBZGyH2LxvN5h6QxtygTTNNF0Kp3jZhJg)。
3. [紅外線 LED: HSDL-4220 875nm](https://www.digikey.tw/zh/products/detail/liteon/HSDL-4220/637525)。
4. [Raspberry Pi 5](https://shop.playrobot.com/products/raspberry-pi-5-basic-kit)。用來建立 MPU 為基礎之紅外線眼控實驗平台。
5. [BBC micro:bit V2.21](https://www.icshop.com.tw/products/368030501700?gad_source=1&gclid=EAIaIQobChMI9PXMyeHpiAMVN9UWBR1qJAICEAYYAiABEgKGN_D_BwE)。
6. 其他一損耗性線材以及電子零件。

### 6.3 設備費 (共 35,000 元)

<!--1. [Phrozen Sonic Mighty 8K / mighty8k LCD光固化 模型製作 3D列印機](https://shopee.tw/product/308476671/19900936480?d_id=02321&uls_trackid=519oovlu005c&utm_content=4XQTyf7R7MBHXiSfGettAxXnvsyq)： (35,000元/1個) x 1 個 = 35,000 元。用來製作雛型系統的機殼，避免輔具之電路裸露，並且用於製作紅外線眼控實驗零件的固定機制。-->

1. FDM 3D印表機： (35,000元/1個) x 1 個 = 35,000 元。用來製作雛型系統的機殼，避免輔具之電路裸露，並且用於製作紅外線眼控實驗零件的固定機制。

### 6.4 行政管理費 (共 30,000 元)

## 7. 參考文獻

###### [1] “tobii.” [Online]. Available: https://www.tobii.com/

###### [2] “sense.” [Online]. Available: https://www.senseet.com/

###### [3] “SMI.” [Online]. Available: https://www.pitotech.com.tw/contents/en/p13436_SMI.html

###### [4] “SR Research (Eyelink)” [Online]. Available: https://www.sr-research.com/

###### [5] “The EyeWriter 2.0 : 18 Steps (with Pictures) - Instructables”, [Online]. Available: https://www.instructables.com/The-EyeWriter-20/

###### [6] 精機中心開發「EOG 眼控型溝通輔具」：嘉創服務部 賴冠融, “技術通報 291期_為身心障礙者開啟一扇溝通的窗— EOG 眼控型溝通輔具20”,Jan. 18, 2023.[Online]. Available:https://www.pmc.org.tw/tw/periodical/show.aspx?num=1269

###### [7] Cai, S., Lillianfeld, L., Seaver, K., Green, J.R., Brenner, M.P., Nelson, P.C., Sculley, D. (2021) A Voice-Activated Switch for Persons with Motor and Speech Impairments: Isolated-Vowel Spotting Using Neural Networks. Proc. Interspeech 2021, 4823-4827, doi: 10.21437/Interspeech.2021-330

###### [8] 李武豪（2018）。喚醒詞以及關鍵詞語音辨識系統之實作。國立臺北大學通訊系所碩士論文，新北市。 取自 https://hdl.handle.net/11296/9mg2pj

###### [9] Micro:bit: OXXO STUDIO. (n.d., Accessed: Nov. 12, 2024). Control Micro:bit with Various Devices [Online]. Available:(https://steam.oxxostudio.tw/category/microbit/info/control-microbit.html)

###### [10] SU-03T: Coffeeworm Workstudio. (2020-2024, Accessed: Nov. 12, 2024). SU-03T 語音辨識 (1st ed.) [Online]. Available: (https://sites.google.com/cies.tn.edu.tw/codingrobot/microbit%E7%9B%B8%E9%97%9C/su-03t%E8%AA%9E%E9%9F%B3%E8%BE%A8%E8%AD%98?authuser=0)

## 8. 附錄
### 8.1 「SU-03T 智能語音辨識模組」零件列表-1
[SU-03T 智能語音辨識模組](https://tw.shp.ee/Gjs2ZEp) + 周邊套件，內含：
- micro USB 傳輸線 1個
- micro 母座轉接板 1個
- 高靈敏度咪頭 1個
- 8R 0.25W 喇叭 1個
- 2.54mm 5P公排針 1個
- 2.0mm 9P公排針 1個
- 2P杜邦線 母母頭2.0/2.54mm 長20cm 1個
- 2P杜邦線 母頭2.0mm 長10cm 2個

### 8.2 「SU-03T 智能語音辨識模組」零件列表-2
[SU-03T 智能語音辨識模組](https://tw.shp.ee/Gjs2ZEp) + 周邊套件 的零件內含：
- CH340 USB2TTL 模組 1個
- 高靈敏度咪頭 1個
- 8R 0.25W 喇叭 1個
- 2.0mm 9P公排針 1個
- 4P杜邦線 母母頭2.0/2.54mm 長20cm 1個
- 2P杜邦線 母頭2.0mm 長10cm 2個

### 8.3 「SU-03T 智能語音辨識模組」零件列表-3
[SU-03T 智能語音辨識模組](https://tw.shp.ee/Gjs2ZEp) + 周邊套件 的零件內含：
- USB 公插頭 1個
- 高靈敏度咪頭 1個
- 8R 0.25W 喇叭 1個
- 2.54mm 4P公排針 1個
- 2.0mm 9P公排針 2個
- 2P杜邦線 母母頭2.0/2.54mm 長20cm 1個
- 2P杜邦線 母頭2.0mm 長10cm 2個\

### 8.4 IC 約略估價內容
* [74LS00](https://www.xecor.com/blog/74ls00-pinout-datasheet-truth-table-uses) NT52/2個
* [74LS08](https://www.digikey.tw/zh/products/base-product/onsemi/488/74LS08/229) NT30/2個
* [74F00](https://www.digikey.tw/zh/products/detail/texas-instruments/SN74F00N/373665) NT40/2個
* [74FS08](https://tw.element14.com/texas-instruments/sn74f00n/logic-quad-2-in-nand-gate-14dip/dp/3120407?CMP=KNC-GOO-SHOPPING-3120407&srsltid=AfmBOooCX1CcNedaCoDVEMWn4WBBZGyH2LxvN5h6QxtygTTNNF0Kp3jZhJg) NT79/2個