<style>
.markdown-body {
font-family:fantasy , '微軟正黑體' , Verdand;
}
.markdown-body h1 {
text-align: center
}
.markdown-body h2 {
border-bottom: none;
margin-top: 0;
margin-bottom: 3px;
}
.markdown-body h3 {
margin-top: 0;
margin-bottom: 6px;
}
.markdown-body p, .markdown-body blockquote, .markdown-body ul, .markdown-body ol, .markdown-body dl, .markdown-body table, .markdown-body pre {
margin-bottom: 10px;
}
figcaption {
margin-top: 6px;
}
.footnotes-sep {
display: none;
}
</style>
# 對於睡意檢測系統相關論文的調查
###### 聲明：該報告非和其他課程共用，且全文是在本學期完成
## 摘要
該報告共調查了24篇有關睡意檢測系統的論文，並將其分成了四大類，其中前面三類是根據檢測的方法來區分，分別是一、基於生理參數、二、基於面部、頭部參數以及三、基於車輛操控參數，而第四類論文我們要關注的是其內容中維持清醒的部分，因為保持清醒在睡意檢測系統中也是非常重要的一環。
## 介紹
駕駛者的疲勞、困倦，往往是造成道路事故的重要原因，其嚴重影響了道路安全，根據財團法人車輛研究測試中心的研究報告指出，我們國內因駕駛過程中分心或疲勞駕駛而導致的交通事故約占總交通事故之20%，而根據2017年美國國家公路交通安全管理局的估計，其每年約有9.1萬件的疲勞駕駛肇事[1]。因此，若能有一個系統來去監測駕駛者的清醒狀態，並在其困倦、注意力不集中時提醒他，那麼對於駕車安全必有莫大的幫助。
而關於該系統要如何監測，許多研究人員提出了不同方法，像是監測駕駛人的生理參數，例如利用心電圖 (ECG)、光體積變化描記圖法 (PPG)、心率變異(HRV)等人體信號，或是觀察駕駛員的行為動作，像是看他是否把眼睛閉上，觀察其眨眼頻率、頭是否一直往下垂等等。另外，汽車本身的操作行為也能告訴我們關於駕駛員的疲倦訊息，其中一個例子就是關於方向盤的轉動是否異常。而在廣泛調查之後，我們能對於疲勞、睡意監測系統有更全面的認知以及了解，未來在投入相關領域時也能知道可以從哪個方面下手或是有什麼技術已經被使用或討論過。
<div style="page-break-after: always;"></div>
## 相關論文調查
### 以生理參數為基礎的監測系統
當人們疲倦時，其生理機制會產生變化，因此這邊的論文就是透過該變化來檢測駕駛的疲累程度：
首先Rohit等人[2]用他們論文所研究的MUSE裝置來收集受試者的EEG（腦電圖、腦波圖）數據，並運用SVM（Support Vector Machine，中文稱支援向量機，為一種監督式學習演算法）來分析其頻譜特徵，以確認駕駛員是否產生了睡意，而實驗結果該方法的精確度可達到74%。
---
`圖一、論文[2]的EEG數據特徵提取、訓練和測試流程`
---
再來，結合EEG和EOG（眼電圖），Hultman等人[3]運用了CNN-LSTM模型來對這些數據進行學習，最終在區分低疲倦和高疲倦的結果上達到了82%的準確率，並且他們提到來自眼部的數據資訊（EOG）比起腦部（EEG）更能有效地提供關於駕駛員疲倦的資訊。
接著，有研究員認為直接在車輛上測量EEG或許有點不太實際[4]，因此他們開發了一個演算法，其運用NBM（Neuro-Bio Monitor，為非接觸式大腦信號感應器）的信號來監測駕駛員的睡意，最後實驗結果達到了78.79%的準確率以及95%的檢測率。
`圖二、NBM的照片和概念圖`
---
同樣是利用EEG，Rohlinger等人[5]使用了濾波器、主成分分析（PCA，principal component analysis）、快速傅立葉轉換（FFT）等技術處理其信號，並把檢測Theta波的分類器用作睡意的檢測器，最終實驗結果達到了89%的準確率（離線）。
我們可以發現到，不少的論文都是以EEG數據來作為檢測工具，因此要如何收集以及收集裝置的便利性就十分重要，而在Zhu等人的研究中[6]，他們發表了一種基於卷積神經網路的可穿戴型駕駛員睡意檢測裝置，首先EEG數據會透過可穿戴的BCI（brain computer interface）來監控與收集；再來，含有Inception module跟modified AlexNet module的神經網路會被用來訓練分辨EEG信號，最後透過該神經網路他們得到了一個早期預警策略模型，該模型會在駕駛被認為疲倦時對他進行警告，而該論文表示其準確率可達到94~95%。
`圖三、Zhu等人[6]的裝置運作流程圖`
---
除了EEG、EOG等信號以外，Abe等人[7]開發了一種藉由整合HRV（heart rate variability）分析和異常檢測演算法來檢測駕駛員睡意的系統，他們也表示該方法在八個即將發生事故的情境中檢測成功了七次。而同樣是利用HRV，Li和Chung等人[8]發表了一種結合HRV小波分析以及SVM分類器的睡意檢測系統，透過轉換短時間內的HRV信號小波來判斷駕駛員是否陷入疲倦，其論文顯示該系統成功率達到了95%。
另外，Awais等人[9]為了提高檢測系統的表現，他們提出了一個混合方法，也就是將ECG跟EEG的特徵結合起來，其中ECG的特徵包含了心率、HRV、LF/HF比率等等，SVM也有運用在該研究裡面。而最後，該論文表明他們的檢測成功率到達了八成。
### 以頭部、面部參數為基礎的監測系統
用臉部特徵來判斷駕駛員是否疲倦或陷入沉睡應該是目前最為普遍且泛用的檢測方法，畢竟要看駕駛是否陷入沉睡基本上直接看他的眼睛就好，而接下來就來看研究人員是如何透過臉部數據來進行檢測。
首先來看AL-Anizy等人[10]的研究：他們的方法分成了影像處理和機器學習兩個階段。他們首先運用Harr人臉檢測演算法識別駕駛員的面部，提取駕駛員眼睛的圖像，並將其作下個階段的輸入。而在機器學習階段，他們運用SVM來對駕駛員是張開眼睛還是閉上眼睛進行分類，若分類結果顯示駕駛員在某段預定時間內都是閉合的狀態的話，該系統發出警報。論文後面顯示該方法有九成以上的正確率。
接著He等人[11]開發了一種基於google-glass的睡意檢測系統，他們運用google glass的鄰近感測器來監測眨眼的頻率，並且模擬了一個駕駛環境來驗證眨眼頻率和駕駛員狀態的關係（當人越疲倦，其眨眼頻率也隨之升高），並透過該結果來驗證該系統的有效性。
`圖四、論文[11]的裝置`
---
另外，Rahman等人[12]的研究也是透過眼睛監測的演算法來決定駕駛員的眼睛是處於張開還是閉合狀態，若閉合超過一段時間則判斷駕駛員處於疲倦，根據該論文，此方法的精確率約94%。
除了看眼睛特徵以外，Azim等人的方法[13]透過分析打哈欠來量測駕駛員的注意力不集中程度，並以此來檢測疲勞。他們首先利用Viola-Jones臉部檢測方法來找出駕駛的臉，接著利用s-FCM聚類分析找出嘴唇之後將嘴巴特徵從臉部提取出來，之後透過嘴巴特徵計算嘴巴的張開程度，並以此來決定駕駛員的哈欠狀態，若該系統監測到駕駛員一直處於打哈欠的狀態，則其判定駕駛員處於疲勞並發出警報。
`圖五、論文[12]的流程`
---
Teyeb等人[15]提出了運用眼睛閉合以及頭度姿勢的睡意檢測系統。他們首先用Viola-Jones方法檢測眼跟臉，並透過分類器辨別其狀態並計算閉上的持續時間，接著系統預測頭部的行為；頭部圖像被提取之後，頭部傾斜狀態被確認，然後該系統結合閉眼持續時間和頭部姿勢來判斷駕駛是否有睡意。該論文表明該系統的準確率達到了80%。
而說到圖像，肯定少不了CNN的出現，因此Hashemi等人[16]提出了運用CNN的實時駕駛睡意檢測系統，而實驗結果表明他們的FD-NN network達到了98.15%的精確率。
Neshov & Manolova[17]在運用Viola-Jones方法擷取臉部特徵之後，他們會檢測駕駛的眨眼頻率以及其打哈欠的狀態，並且結合SDM（supervised descent method）和SVM來建造一個睡意檢測系統，該系統檢測精確率達到81%。
### 以車輛操控參數為基礎的檢測系統
當人們在疲勞開車的時候，其對於車體的操控也會受疲倦影響，這邊我們就來看有哪些車體參數可以當作睡意檢測系統的指標：
Lawoyin等人[19]提出了透過監測方向盤來檢測睡意的方法，他們首先安裝一個三軸的加速度計來追蹤方向盤的加速度（會放一個高通濾波器來消除高頻雜訊），再來透過數學方法來決定方向盤轉的角度變化，並藉由該變化判斷駕駛員是否有睡意，而該論文結果也表明方向盤的突然轉動和疲倦有關係。
`圖六、論文[19]的圖表`
---
而同樣是透過方向盤，Zhenhai等人[20]和Li等人[21]也都是分析方向盤的角度變化來檢測駕駛員的睡意。而除了SWA（Steering Wheel Angles）以外，還可以透過YA（Yaw Angles），也就是偏航角，來作為檢測的指標[22]。（[22]的系統精確率達到了88.02%）
`圖七、論文[22]當中SWA和駕駛員疲倦狀態的關係`
---
`圖八、論文[22]當中YA和駕駛員疲倦狀態的關係`
---
### 上述系統的比較
在介紹完三種檢測系統之後，我們可以發現到若我們要對其進行比較，其實難以推斷說何者一定優於他者，畢竟三種系統皆有方法可以達到八成以上。而若要說各自的缺點也不難找到，例如基於生理參數的方法，光要如何取得數據就是個問題，也不是每個人都願意在身上戴許多東西。而基於臉部參數的方法，我們以打哈欠為例，許多人打哈欠時習慣摀住嘴巴，這樣就會對檢測系統進行干擾。因此也有研究者試圖去收集更多數據來進行檢測，例如Ohsuga等人[23]和Naurois等人[24]的研究，前者監測了眨眼、皮膚導電度、EEG α波、呼吸、HRV等數據的變化，而後者測量了HRV、心率、呼吸、眼臉和頭部運動、駕駛行為包括穿越車道的速度和方向盤角度等數據，可以看到兩者皆不限於單一種檢測指標。
### 保持清醒的機制
在Ibe等人的論文[25]當中，他們提到一個好的睡意檢測系統應同時滿足三個特徵才能被駕駛員所接受，分別是：
1. 精確的檢測
2. 在警報響起前先警告駕駛，以免使其感到煩躁
3. 有能讓駕駛保持清醒的機制
而為了達成這三個目標，該篇論文提出了一個叫做WKSS（wakefulness-keeping support system）的系統，其是由DDS（drowsiness detection system）和AGS（active game system）組合而成。這邊的DDS是透過HRV來檢測睡意，前面也有類似例子就不加以贅述，我們將重點放在後面的AGS：在DDS檢測到駕駛員疲倦之後，該系統不會響起警報，而是啟動AGS，而AGS是一個要求駕駛員採取積極行動以保持其清醒的遊戲，在該研究中是以回應獅子來做為遊戲玩法。當獅子叫時（可能來自不同方向），可以選擇透過擺動頭部（在不影響駕駛安全的範圍內）或是回答獅子吼的方向來「攻擊」獅子，而若聲音是來自貓時，則駕駛不做任何動作。最後該論文的實驗結果表明，比起傳統用蜂鳴器做為警報，該遊戲的積極行為更能讓駕駛們保持清醒（肢體的回應又比聲音的回應更為有效），而且當AGS啟動時比起傳統警報較不會讓駕駛惱火（即便誤報），因此該系統很好地達成了前面提的那三個特徵。
`圖九、該AGS的遊戲內容`
---
`圖十、WKSS系統的整體運作圖示`
---
## 結論
在原先的調查規劃中，我是想以Tatsuro Ibe等人的論文〈Development of Game-Like System Using Active Behavior Input for Wakefulness-Keeping Support in Driving〉為主軸去深入探討，然而後來我發現睡意檢測系統相關的論文真的太多了，因此我就把這篇論文的重點放在他那有趣的喚醒系統，並去調查更多種各式各樣類型的睡意檢測系統。在本文中，我們蒐集了三種類型的睡意檢測系統，但並不是每篇論文都有附上其系統的精確率，因此我們無法去完全比較各種系統的優劣，且就客觀實行來看各有優缺點，除了前面提到的那些以外還有基於臉部數據的系統往往延遲較低但易受干擾，而基於生理數據的系統更能表現駕駛狀態但需要許多的設備裝置…等
另外我們也可以看到，即便是基於生理參數的系統，看似好像精準地收集了身體的數據，卻依然無法達到100%的疲勞檢測率，因此若能將這些技術進行混合，例如結合生理反應和車輛行為，或是使車子或身體的傳感器更多更加有效，那麼或許就能建造出更加強大的檢測系統。
<div style="page-break-after: always;"></div>
## 參考文獻
[1]現行國際疲勞駕駛監測科技資料蒐集彙整,交通部運輸研究所,111/05
[2]F. Rohit, V. Kulathumani, R. Kavi, I. Elwarfalli, V. Kecojevic, A. Nimbarte, "Real-time drowsiness detection using wearable, lightweight brain sensing headbands", IET Intell. Transp. Syst., 11 (5) (2017), pp. 255-263
[3]Martin Hultman et al, 2021 Physiol. Meas. 42 034001
[4]R. Soleymanpour, H. H. Shishavan, J. -S. Heo and I. Kim, "Novel Driver’s Drowsiness Detection System and its Evaluation in a Driving Simulator Environment," 2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2021, pp. 1204-1208, doi: 10.1109/SMC52423.2021.9659264.
[5]Tihomir Rohlinger, Le Ping Peng, Tobias Gerlach, Paul Pasler, Bo Zhang, Ralf Seepold, Natividad Martinez Madrid, and Matthias Raetsch. 2022. Deep Learning-based EEG Detection of Mental Alertness States from Drivers under Ethical Aspects. In 2021 The 5th International Conference on Advances in Artificial Intelligence (ICAAI) (ICAAI 2021). Association for Computing Machinery, New York, NY, USA, 54–64.
[6]Zhu, M., Chen, J., Li, H. et al. Vehicle driver drowsiness detection method using wearable EEG based on convolution neural network. Neural Comput & Applic 33, 13965–13980 (2021).
[7]Erika Abe, Koichi Fujiwara, Toshihiro Hiraoka, Toshitaka Yamakawa & Manabu Kano (2016) Development of Drowsiness Detection Method by Integrating Heart Rate Variability Analysis and Multivariate Statistical Process Control, SICE Journal of Control, Measurement, and System Integration, 9:1, 10-17.
[8]G. Li and W.-Y. Chung, "Detection of driver drowsiness using wavelet analysis of heart rate variability and a support vector machine classifier", Sensors, vol. 13, no. 12, pp. 16494-16511, Dec. 2013.
<div style="page-break-after: always;"></div>
[9]M. Awais, N. Badruddin and M. Drieberg, "A hybrid approach to detect driver drowsiness utilizing physiological signals to improve system performance and wearability", Sensors, vol. 17, no. 9, pp. 1991, Aug. 2017.
[10]Ghassan Jasim AL-Anizy, Md. Jan Nordin and Mohammed M. Razooq, 2015. Automatic Driver Drowsiness Detection Using Haar Algorithm and Support Vector Machine Techniques. Asian Journal of Applied Sciences, 8: 149-157.
[11]Jibo He, William Choi, Yan Yang, Junshi Lu, Xiaohui Wu, Kaiping Peng, Detection of driver drowsiness using wearable devices: A feasibility study of the proximity sensor, Applied Ergonomics, Volume 65, 2017, Pages 473-480, ISSN 0003-6870.
[12]A. Rahman, M. Sirshar and A. Khan, "Real time drowsiness detection using eye blink monitoring," 2015 National Software Engineering Conference (NSEC), 2015, pp. 1-7, doi: 10.1109/NSEC.2015.7396336.
[13]Azim, T., Jaffar, M.A., Ramzan, M., Mirza, A.M. (2009). Automatic Fatigue Detection of Drivers through Yawning Analysis. In: Ślęzak, D., Pal, S.K., Kang, BH., Gu, J., Kuroda, H., Kim, Th. (eds) Signal Processing, Image Processing and Pattern Recognition. SIP 2009. Communications in Computer and Information Science, vol 61. Springer, Berlin, Heidelberg.
[14]I. Teyeb, O. Jemai, M. Zaied and C. B. Amar, "A novel approach for drowsy driver detection using Head posture estimation and eyes recognition system based on wavelet network", Proc. 5th Int. Conf. Inf. Intell. Syst. Appl. (IISA), pp. 379-384, Jul. 2014.
[15]C. Zhang, X. Wu, X. Zheng and S. Yu, "Driver Drowsiness Detection Using Multi-Channel Second Order Blind Identifications," in IEEE Access, vol. 7, pp. 11829-11843, 2019, doi: 10.1109/ACCESS.2019.2891971.
[16]M. Hashemi, B. Farahani and F. Firouzi, "Towards Safer Roads: A Deep Learning-Based Multimodal Fatigue Monitoring System", 2020 International Conference on Omni-layer Intelligent Systems (COINS), pp. 1-8.
<div style="page-break-after: always;"></div>
[17]N. Neshov and A. Manolova, "Drowsiness monitoring in real-time based on supervised descent method", 2017 9th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), vol. 2, pp. 660-663, 2017.
[18]A. G. Mavely, J. E. Judith, P. A. Sahal and S. A. Kuruvilla, "Eye gaze tracking based driver monitoring system", 2017 IEEE International Conference on Circuits and Systems (ICCS), pp. 364-367, 2017.
[19]S. Lawoyin, D.-Y. Fei and O. Bai, "Accelerometer-based steering-wheel movement monitoring for drowsy-driving detection", Proceedings of the Institution of Mechanical Engineers Part D: Journal of automobile engineering, vol. 229, no. 2, 2015.
[20]G. Zhenhai, L. DinhDat, H. Hongyu, Y. Ziwen and W. Xinyu, "Driver drowsiness detection based on time series analysis of steering wheel angular velocity", Proc. 9th Int. Conf. Measuring Technol. Mechatron. Automat. (ICMTMA), pp. 99-101, Jan. 2017.
[21]Z. Li, S. E. Li, R. Li, B. Cheng and J. Shi, "Online detection of driver fatigue using steering wheel angles for real driving conditions", Sensors, vol. 17, no. 3, pp. 495, Mar. 2017.
[22]Z. Li, L. Chen, J. Peng and Y. Wu, "Automatic detection of driver fatigue using driving operation information for transportation safety", Sensors, vol. 17, no. 6, pp. 1212, May 2017.
[23]Ohsuga, M., Kamakura, Y., Inoue, Y., Noguchi, Y., Shimada, K., Mishiro, M. (2011). Estimation of Driver’s Arousal State Using Multi-dimensional Physiological Indices. In: Harris, D. (eds) Engineering Psychology and Cognitive Ergonomics. EPCE 2011. Lecture Notes in Computer Science(), vol 6781. Springer, Berlin, Heidelberg.
[24]Charlotte Jacobé de Naurois, Christophe Bourdin, Anca Stratulat, Emmanuelle Diaz, Jean-Louis Vercher, Detection and prediction of driver drowsiness using artificial neural network models, Accident Analysis & Prevention, Volume 126, 2019, Pages 95-104, ISSN 0001-4575.
[25]T. Ibe, K. Fujiwara, T. Hiraoka, E. Abe and T. Yamakawa, "Development of Game-Like System Using Active Behavior Input for Wakefulness-Keeping Support in Driving," in IEEE Transactions on Intelligent Vehicles, vol. 6, no. 2, pp. 323-332, June 2021, doi: 10.1109/TIV.2020.3029260.
Sign in with Wallet
Connect another wallet