# 漸凍人叫人鈴及輸入輔具可行性分析研究
本研究進行叫人鈴之基礎技術探索以及製作可行性的評估。

## 經費補助來源
[中華民國運動神經元疾病病友協會](https://www.mnda.org.tw/)

## 執行單位
國立臺北大學通訊工程學系，語音暨多媒體訊號處理實驗室

## 參與人員
* 計劃主持人
* 江振宇，實驗室主持人 (https://web.ntpu.edu.tw/~cychiang/)
* 協同主持人
* 吳允成，中華紙漿公司資訊安全長/漸凍人協會會員
* 計劃成員
* 林恭緯
* 碩士生
* 貢獻「[用 Dlib 建立的使用影像處理之眼動叫人鈴](https://hackmd.io/@will1860/用Dlib建立的使用的影像處理之眼動叫人鈴/edit)」、「[紅外線影像叫人鈴](https://hackmd.io/@will1860/%E7%B4%85%E5%A4%96%E7%B7%9A%E5%8F%AB%E4%BA%BA%E9%88%B4)」
* 陳彥至
* 碩士生
* 貢獻「[VoiceBank-Mobile 語音銀行行動版](https://hackmd.io/@NreQ9xafS2qzfqL3jUXR4A/VoiceBank-Mobile)」
* 陳虹妤
* 碩士生
* 貢獻「[Micro:Bit 小飛鼠](https://hackmd.io/@chengina/BJKEVlo2R)」、「[語音叫人鈴](https://hackmd.io/@cychiang-ntpu/speech-call-machine)」
* 張朝凱
* 碩士生
* 貢獻「[Micro:Bit 小飛鼠](https://hackmd.io/@chengina/BJKEVlo2R)」、「[語音叫人鈴](https://hackmd.io/@cychiang-ntpu/speech-call-machine)」
* 黃聿閩
* 學士生
* 貢獻「[精機中心叫人 EOG 鈴檢測](https://hackmd.io/@Jde2UV-qSEWqZW-2Hli0IQ/HyaBcvPJel)」

## 執行期限
民國 114 年 2 月 1 日至民國 114 年 5 月 31 日。

## 緣起
##### 江振宇筆（2025/7/1）

在 2024 年 6 月底由漸凍人協會舉辦的研討會，
認識了吳承允大哥，
當時吳大哥當場展示了以 micro:bit 開發板建立的各種輔具，
比如以陀螺儀感測開發板傾斜角度，
再由角度轉換成滑鼠座標，
以藍芽連線來控制個人電腦、筆記型電腦、以及平板電腦的滑鼠位置，
以觸控按鍵的點擊方式來控制按左鍵、右鍵以及拖曳，
更厲害的是，吳大哥使用語音開發板，
建立了可使用語音指令撥打緊急電話的叫人鈴功能，
當下覺得實用且可以讓有興趣的朋友 DIY，
又可以幫助到需要輔具的朋友。

另外，在 2024 年 9 月，
漸凍人協會前理事長屈穎女士和我提起目前病友使用的叫人鈴系統問題，
對於病友，沒有現成的輔具，
部分病友使用的眼控叫人鈴為協會多年前委託輔具團隊開發，
目前已經老舊無法使用，
而現有的眼控電腦叫人因為需要配合電腦螢幕開啟使用，
螢幕的光線照射不適合注目長時間使用。

由於以上的了解，
我便希望能執行一個製作叫人鈴輔具可行性分析的研究，
對於各種可能之叫人鈴基礎技術探索，
並且根據原理建立簡單的基礎系統，
希望能將知識傳遞，
讓後續研究人員可以使用此研究成果做為起始點延續發展。

## 摘要
漸凍症病友因病程會有身體肌肉無法控制且失去言語能力的情形，
因此需要輔具來協助病友向照護者溝通。
其中叫人鈴是漸凍症病友的重要溝通工具，
能在病友臥床時通知照護者。
現有叫人鈴技術多採用眼電訊號、肌電訊號、腦波訊號等技術，
雖已經有市售相關商品，但大多售價高且仰賴進口，
造成國內漸凍症病友購置不易。
為了能逐漸達到國內能自主建立相關叫人鈴設備，
本研究將由探索漸凍症叫人鈴製作的可行性，
了解輔具的原理以及製作最基本的雛形系統，
讓後續研究人員可以使用此研究成果做為起始點延續。
此研究包含以下項目：

1. Micro:Bit 小飛鼠
2. 用 Dlib 建立的使用可見光影像處理之眼動叫人鈴
3. 紅外線影像叫人鈴
4. 精機中心叫人 EOG 鈴檢測
5. 語音叫人鈴
6. VoiceBank-Mobile 語音銀行行動版

以上項目皆有提供技術文件，文件中講解工作原理以及提供實作基本系統的方法，
讓後續想要投入相關研究之人員，有可以參考的初始學習文件。

## 研究計畫書
計畫書內容請詳見以下連結之文件： https://hackmd.io/@will1860/漸凍人協會叫人鈴製作可行性分析計畫

## 研究成果
本計畫的研究成果列於以下連結：
* 「Micro:Bit 小飛鼠」方塊使用教學：https://hackmd.io/@chengina/BJKEVlo2R
* 用 Dlib 建立的使用影像處理之眼動叫人鈴：https://hackmd.io/@will1860/用Dlib建立的使用的影像處理之眼動叫人鈴/edit
* 精機中心 EOG 叫人鈴檢測：https://hackmd.io/@Jde2UV-qSEWqZW-2Hli0IQ/HyaBcvPJel
* 語音叫人鈴：https://hackmd.io/@cychiang-ntpu/speech-call-machine
* VoiceBank-Mobile: https://hackmd.io/@NreQ9xafS2qzfqL3jUXR4A/VoiceBank-Mobile
* 紅外線叫人鈴：https://hackmd.io/@will1860/%E7%B4%85%E5%A4%96%E7%B7%9A%E5%8F%AB%E4%BA%BA%E9%88%B4

## 未來工作及後續發展
* 「Micro:Bit 小飛鼠」
* 與實踐大學設計學院同學設計之外殼結合。
* 讓病友實測系統是否實用。

* 用 Dlib 建立的使用影像處理之眼動叫人鈴
* 讓大學部專題生測試是否可以依據文件 https://hackmd.io/@will1860/用Dlib建立的使用的影像處理之眼動叫人鈴/edit 可再製系統。

* 精機中心 EOG 叫人鈴檢測
* power 應該換成符合規格的鋰電池模組。
* EOG 信號以示波器來量測電極之間的「電流」，取代原本研究成果中的量測「電壓」。

* 語音叫人鈴
* 使用本研究中的「VoiceBank-Mobile」來建立「語音叫人鈴」的功能。

* VoiceBank-Mobile
* 目前僅使用 Kotlin 在 Android 環境下發展，在此環境下發展穩定後，將再發展 iOS 環境。 (updated 2025/06/30)

* 紅外線叫人鈴
* 將目前雛形系統改進成可穩定動作的眼動叫人鈴。
* 以此技術延伸建立眼控滑鼠雛形系統。

## 致謝
* 感謝[中華民國運動神經元疾病病友協會](https://www.mnda.org.tw/)提供參與研究同學研究獎助金。
* 感謝國立臺北大學通訊工程學系李忠益老師提供有關紅外線光學相關知識。
* 感謝國立臺北大學通訊工程學系王鵬華老師協助找到紅外線由角膜反光的特性問題。