# 中正大學資訊工程學系教授指導之專題以及論文參考 前言:有鑑於大三有專題課程, 而同學對於教授之專長暨研究方向不熟悉。故撰寫此文,協助同學能夠找到心儀的專題方向。 # 晶片系統 | 鍾菁哲 | 陳鵬升 | 林泰吉 | | ------ | ------ | ------ | ### 鍾菁哲 1.透過硬體實現卷積神經網路用於軸承故障診斷並模擬分析其PPA 2.Physically Unclonable Function 研究及探討 ### 陳鵬升 1.MPC於雲端AI的資安應用 2.基於YOLO演算法之軌道異物偵測系統 ### 林泰吉 1.用於智慧音訊辨識之單維二值卷積網路優化 # 計算機理論 | 黃耀廷 | 李新林 | | ------ | ------ | ### 李新林 1.Traffic Accident Analysis with community detection 2.基於AGM多標籤景觀聚類旅遊路線規劃 ### 黃耀廷 1.Roles of epigenetic modifications to antibiotic resistance in Achromobacter # 系統軟體 | 熊博安 | 林迺衛 | 羅習五 | 王銘宏 | | --- | --- | --- | --- | ### 熊博安 1.可信任AI之攻擊解釋與自動化部屬 ### 林迺衛 1.基於針灸處方的腧穴療效效力值推論 2.小型開源企業資源規劃(ERP)系統的建立與開發 3.呼吸道疾病的中醫證候分析研究 4.基於中藥方劑配伍結構的藥材療效效力值推論系統 ### 羅習五 1.RON: One-Way Circular Shortest Routing to Achieve Efficient and Bounded-waiting spinlocks 2.強制行程資料流分析避免資料竊取 ### 王銘宏 1.基於機器學習之NFT價格預測 2.基於姿態與物件辨識技術之棒球nice play片段萃取架構 3.Hellish Gags or not? Analyzing Hateful Memes on Instagram # 網路與數位學習 | 郭建志 | 游寶達 | 林柏青 | 黃啟富 | 連韶宇 | | --- | ------ | ------ | ------ | ------ | ### 游寶達 1.利用混合實境控制自走車 2.機器手臂線性運動之研究 3.具環境感知之MR智慧家庭系統 ### 林柏青 1.分析網路上的Phishing QR code與實作釣魚偵測插件 2.在基於同態加密的聯邦學習中利用核主成份分析偵測攻擊 ### 黃啟富 1.無裝置次聲波感測定位虛擬鍵盤 ### 連韶宇 1.基於ORB-SLAM3關鍵楨選擇之改善 ### 郭建志 1.Socially-aware Concurrent Entanglement Routing with Path Decomposition in Quantum Networks 2.Socially-aware Collaborative Defense System against Bit-Flip Attack in Social Internet of Things and Its Online Assignment Optimization # 多媒體人工智慧 | 柳金章 | 林維暘 | 劉偉名 | | -------- | -------- | -------- | | 程芙茵 | | 江振國 | ### 柳金章 1. Image/Video Shadow Detection and Removal Uing Deep Neural Networks ### 林維暘 1.應用於工業安全的AI電子圍籬系統 2.Automatic inventorying of emergency drugs using AI techniques ### 劉偉名 1.比較不同版本unet 與 transformer模型對腦部CT影像進行腦組織萃取與缺血型中風區域之偵測 2.以熱像儀評估洗腎患者的微循環功能 3.A Programmable Pressure Cuff at Fingertip to Aid Sepsis Detection in Intensive Care Unit ### 江振國 1.IMU六軸資訊重現書法手部動作 2.運用深度學習進行油畫色彩分析 3.AI 桌遊設計 ### 程芙茵 1.Watching, Fast and Slow: Understanding Second Language Leamer's Cognitive Load by Pupillometry When Adjusting Speed of Video 2.Neeko: 為青少年建立更安全的網路環境以擊潰網路誘拐 3.觀察數位巧推組合於線上購物情境下消費者雙系統狀態差異-EEG測量 # 碩士論文指導 以下如有英文內容,皆已全翻譯成中文,方便閱讀。 ### 鍾菁哲(109-111) #### (一)應用於深度信念網路的S型函數之高效率硬體實現 摘要:雖然類神經網路模型在很多應用中都有顯著的效果,如語音辨識、圖片辨識,但往往都需要使用大量的運算資源。因此開發特殊應用積體電路(ASIC),以達到高效能與低功率運算需求,是重要研究課題之一。 在本論文中,將針對深度信念網路(DBN)的架構進行硬體實現,使用MNIST資料庫進行驗證,並對其運算方法進行優化。將大量運算分批處理,利用共享硬體資源,減少不必要的計算資源浪費。除此之外,將設計S型函數的高效率硬體實現,在維持原來的準確率下,對比一般的查表法,提出的S型函數架構之面積可減少78%。本論文所提出之硬體電路架構,使用TSMC 90奈米製程實現。提出的架構在108.7 MHz 工作頻率下,功耗為99 mW,其運算性能為8.3173 GOPs/W,可達成即時資料辨識功能。 #### (二)使用具自我校正功能的數位控制震盪器於集成式電壓與溫度感測器抵抗製程、電壓與溫度變異 摘要:近年來,越來越多物聯網的末端元件被整合在一起,邊緣運算成為物聯網中重要的一環, 邊緣電路是否能正常運作或是在故障前的自動監測功能是一個值得高度重視的議題。 而同一個設計的電路可能會受到製程飄移、電壓變異和溫度變異的影響有不同的運作狀況,因此監測電路當前的工作電壓與工作溫度環境,需要有一個嵌入式的感測晶片來協助偵測電路是否能繼續正常運作。 電路會因為不穩定的供電電壓,而對電路造成無法修復的損害,所以設計一個可以偵測局部電壓的感測器就有其必要性。電壓感測器除了可以偵測到因數位訊號持續充放電所造成的電壓雜訊,影響系統工作異常的情況,也可以通知監測系統暫停電路工作,以避免裝置更嚴重的損害,採取相關預防性的維修動作。 本論文提出的抗電壓和製程飄移的溫度感測器架構中,使用了三種不同類型的delay cell組成了三個環形震盪器,使用比值相除的公式以及本論文提出的迭代計算,消除掉電壓與溫度變異量, 達到了 1. 一個面積小、超高速且晶片所需測試成本低的感測器架構 2. 同時整合了溫度和電壓感測器,並採用反覆迭代的計算方式計算出溫度和電壓的數位讀值 3. 透過使用校正點的資料建立該晶片的運算模組,可以抵抗製程、電壓與溫度變異。 在這篇論文中提出的全數位電壓與溫度感測器採用TSMC 90奈米CMOS製程實現,並可在0.9 ~ 1.1伏特的電壓及20 ~ 80度的溫度範圍內工作。從佈局後模擬的結果可以看到溫度感測器的最大誤差為-0.43 ~ 0.812度, 電壓感測器的最大誤差為-4.07 ~ 6.425毫伏特。利用電晶體面積小且低功耗的特性,適合將集成式電壓與溫度感測器嵌入至物聯網的設備中,並高速監控末端元件的電壓與溫度狀況,達到預防性的設備維護的應用。 #### (三)開發高可靠度且對機器學習攻擊具有強大抵抗力的物理不可複製函數(PUF) 摘要: 近年來,隨著物聯網技術快速發展,在公開網路中如何讓物聯網中的終端裝置彼此間能夠安全地傳遞數據成為重要的安全議題。物理不可仿製函數原理類似於電子「指紋」具有唯一性,用於防止被敵人仿製電路與竊取密鑰。 晶片製造過程中受到不同程度的製程變異影響,造成電晶體之間的物理特性有微小差異。物理不可仿製函數是由相同的電路元件組成,利用不可控制的製程變異來產生難以預測的響應,達到不可被複製的特性。因此,物理不可仿製函數被廣泛應用於物聯網設備的身份認證上。 然而,在電路架構公開或是遭到反向工程和物理旁側攻擊情況下,敵人只需要收集少量的挑戰與響應對,透過現今強大的機器學習模型,即可破解挑戰與響應之間的對應關係,並輕易預測出新挑戰對應的響應,導致設備安全性下降。 因此,強機器學習抵抗力是物理不可仿製函數的重要能力,並且同時保持高可靠性才能夠使響應不受環境影響而改變,應用範圍更加廣闊。 本論文提出高可靠度且對機器學習攻擊具有強大抵抗力的新穎物理不可複製函數,透過使用TSMC 晶圓廠所提供的 Monte Carlo SPICE Model 來模擬六個製程變異模型。 藉由建立 99 %高準確度的軟體模型,來預測本論文所提出的物理不可複製函數之 200,000 筆響應,透過機器學習模型量測的準確度為 55%。 在工作電壓 1.0V 的 0°C ~ 75 °C 溫度變化下,與溫度 25°C 的 0.9V ~ 1.2V 工作電壓變化下量測,總計算量為 8,000 筆響應,可靠性高達 99.7%。在三組不同溫度電壓組合 (SS, 0.9V, 125°C), (TT, 1.0V, 25°C) 和 (FF, 1.1V, 0°C) 下量測,總計算量為 8,000 筆響應,建立五種機器學習模型。準確度為 53%,隨機性為 85% 以及唯一性為 49.6%。 本論文所提出的物理不可仿製函數電路採用 TSMC 90nm CMOS 製程實現,其有效面積為 0.0168 mm2。當工作頻率為 50MHz 和 3.125MHz 時,功率消耗分別為 0.7586mW 和 0.1599mW。 #### (四)在FPGA上實現用於軸承故障診斷的一維深度可分離卷積神經網絡 摘要:作為機械設備的重要組成部分,滾動軸承在現代工業中被廣泛使用。 因此,如何保證機器的正常運行和預期的生產是至關重要的。如果能盡快發現異常,提前更換舊設備,就可以避免停產,減少突發故障造成的損失。滾動軸承的故障診斷一直是研究的重點。 雖然許多基於CNN模型的故障診斷方法可以有很好的準確性,但大多數使用許多參數進行計算,這導致了過多的內存佔用,並且在硬體架構的實現具有挑戰性。 本文在FPGA開發板VC707上實現了一個DSC一維卷積網路硬體加速器。該方法使用帕德博恩大學收集的滾動軸承的驅動電流訊號作為輸入,並使用簡單的預處理使特徵提取更加全面。為了解決CNN具有眾多網路參數問題,網路模型選擇使用DSC來減少計算量和參數使用。在本論文中,DoReFa-Net方法也被用來量化網路參數和激活函數的輸出,以減少記憶體使用量。量化後的模型參數大小約為20.4KB,運算次數為1,203,128次浮點運算。在工作頻率為50 MHz時,功耗為527 mW,同時對於故障類別診斷的準確度為96.12%。 ### 陳鵬升(109~111) #### (一)基於 GCC 且支援 MISRA-C 中 單一轉換單元規則之檢查器 摘要:MISRA-C 是由汽車產業軟體可靠性協會 (MISRA) 所定義的一份關於 C 程式語言的編寫規範,它定義了一套規則來增強軟體開發的安全性、可 靠性與可移植性 雖然 MISRA-C 起源於汽車產業,但現今已受到航空航 天、國防安全、電信、醫療設備等產業的採用。 在本篇論文中我們基於 GNU GCC 編譯器架構前端實現了 MISRA-C 單翻譯單元標記規則的靜態檢測分析,根據官方文檔範例基準,我們修改 後的編譯器能夠準確檢測 MISRA-C 2012 Amendment 1 中全部共 107 條單 翻譯單元標記規則。 #### (二)支援記憶體解除配置之錯誤的靜態分析器 摘要: 近年來,記憶體分配錯誤經常發生在軟體中,對於豐富經驗的開發者 來說,手動修復記憶體分配錯誤是非常繁瑣與容易出錯,在本篇論文中, 我們開發了一種實用的演算法來檢測記憶體分配錯誤: 記憶體洩漏、雙重 釋放、釋放後使用。 我們提出的演算法實現於 GCC 基礎架構, 利用了現有 GCC 編譯器的 API 來幫助我們取得編譯過程中的資料, 也使用到了編譯器現有的 Alias 分析, 這些都可以協助演算法更快速的分析,並準確定位漏洞, 而我們的演算法也以 GCC PLUGIN 進行實現, 可以加載到其他有支援 GCC PLUGIN 的版本, 最後實驗解果顯示了我們提出的演算法針對 NSA 保證軟體中心 Juliiet test case 與 MemFix: Static AnalysisBased Repair of Memory Deallocation Errors for C 論文中提到 open sourceprograms 進行實驗, 實驗結果證明能準確的記憶體洩漏錯誤,並且我們提出的演算法比 GCC 12.1 內建的靜態分析器擁有更高的準確性和更少的執行時間。 #### (三)基於機器學習技術之別名分析 摘要:別名分析是編譯器中很重要的一部分,和程式碼後續的優化息息相關。 目前大部分編譯器,如 GCC 或 LLVM 都是以基於規則的方式去進行別名分析。 這種傳統的分析方法雖然擁有高度的準確度,但同時也相當耗時,特別是遇到大型程式的情況。 於是本論文採用近年來較流行的自然語言處理相關的機器學習方法,嘗試去理解程式碼的「語意」, 並直接分析程式碼本身。透過這種方法可以大幅減少計算量, 藉此達到加速的效果。而且透過機器學習神經網路所得到的結果為一機率, 相比傳統方法的分類,這種結果可以有更靈活的應用, 例如在 Compiler speculation 中,可以更直接地計算期望值。 透過實驗證明,和 LLVM 原始的分析工具將比,本論文的模型預測準確率可達到 92.6%,並且有三倍的加速。 #### (四)支援安全雙方運算之通用C編譯器設計 摘要:資料共享和隱私確保之間的權衡一直是一個重要的問題, 多方安全運算(MPC)提供使用者們在“不洩漏自己的資料”的情況下進行共享運算。 但是撰寫MPC的code對於一般使用者而言並不容易,於是我們決定製作一個自動轉換的工具。 我們選擇ABY來支援多方安全運算的功能, 並且基於ABY我們設計了一個叫做SHR的wrapper來降低改寫MPC程式的難度。 最後,我們選擇clang的工具集來實現我們的轉換器。 藉由這個轉換器,讓我們可以將普通的C程式碼轉換為可以進行多方安全運算的程式碼 ### 林泰吉(109~111) #### (一)基於變換器之文字語音轉換研究及嵌入式實現 摘要:文字語音轉換(text-to-speech;TTS)是友善人機介面中最重要的技術之一, 尤其是轉換成特定人士的音色、音調更是目前智慧語音處理中熱門的研究議題。 本研究首先分析在VCC2020競賽中脫穎而出的「基於變換器之文字語音轉換」設計及其與傳統方法的差異性比較。 並以少量語料完成特定人士TTS之系統建構與展示。 最後,我們完成以C語言實作此特定人士TTS系統,可輕易移植至Xilinx Zynq 7020嵌入式平台完成文字至語音轉換。 #### (二)具備AI 加速器之RISC-V 微處理器 之MLPerf Tiny 效能評估 摘要:MLPerf Tiny 是目前嵌入式系統評估AI 效能之常用工具。 本論文首先介紹MLPerf Tiny 之benchmark programs 及測試基準,並重現公開平台之相關測試數據。 接著,本論文將以相同流程評估中正大學射月計畫產出之智慧音訊SoC。 我們將以硬體加速器實現之功能以函式庫方式實作,可輕易移植至不同之AI 加速嵌入式系統進行效能評估。 #### (三)統計與常態最佳化之高能效處理器設計(博士論文) 摘要:電路之延遲變異已在先進晶片製程下是一個重要的考量,特別電路是在低於或是近於臨界電壓的操作狀態下。 而基於統計與優於最差狀況之設計可容忍這些延遲變異帶來的影響,但其中常應用於這些設計的雙閘鎖機制常限制於狹窄之時序空間與插入額外的緩衝閘以維持電路功能正確。 此論文針對高能效處理器之設計提出 speculative lookahead with replicated timingrelaxed datapaths (SL-RTD) 之機制,此機制可不需插入額外的緩衝閘, 也經由放鬆資料路徑之時序限制以降低資料路徑的電路面積,更可針對典型狀況設計以最佳化其能源效率以及效能,同時保證其功能在最差狀況時仍可正確運作。 本論文已實作ARM Cortex-M0-like 處理器以展示SL-RTD機制之成效,並以FPGA實作以驗證其機制之實作靈活性。 #### (四)深層網路硬體之零值計算省略方法研究 摘要:深層神經網路中因為激勵函式將下一層神經元輸入變為零或是對神經網路做剪枝將權重變為零, 這些零的輸入或權重做相乘計算都為零,其乘積對累加值沒有影響, 而省略零值計算 (zero-skipping)就是跳過這些對結果沒有影響的計算,減少無用的計算以及去記憶體存取權重的次數來加速神經網路計算速度以及降低記憶體使用功耗。 本研究提出增加額外的位置資訊來對權重做編碼,並且在依照神經元逐一循序運算下利用此重新編碼的權重來跳過神經元輸入為零、權重為零、以及神經元輸出為零的計算,而根據軟體數據分析, 在神經網路模型中當權重為零占整體權重80%情況下,此方法可以幫助減少54%運算時間以及減少19%去記憶體存取權重的次數。 ### 李新林(109-111) #### (一) GAT 異構圖中的節點類型關係感知 摘要:在本論文中,我們提出了一種針對異構網路的 GAT。GAT只考慮節點和鄰居之間的 attributes 關係,對具有多重節點類別和不同鏈結型態的異構網路中,GAT並沒有充分的考慮其特性。 在本論文中, NTGAT結合了 attributes 資訊以及節點類別資訊,使得在聚合節點 attributes 向量時考慮到節點類別的重要性。 我們將GAT中的attention分為 Feature attention 和 Type attention。對於類別之間的結構特性,若有較高的 local community 結構的特性, 則給予該類別較高的 Type attention,其中 Type attention 採用 Personalized PageRank 的方式計算。 此做法可以快速且有效地計算節點類別之間的關係特性,並透過可訓練的參數決定 Feature attention 和 Type attention 的權重。 在節點分類問題實驗中,我們採用了4個不同的真實世界網路中的資料進行實驗, 在 GAT 中加入了反映節點類別資訊的 Type attention , 在大部分的情況下我們提出的方法都有較好的實驗結果,並且透過觀察 Type attention 的參考程度,可以得知節點類別資訊對不同的資料集的重要程度差異,若該資料集在節點分類問題上需要較高的節點類別資訊,則NTGAT預測準確度會較GAT高1\%至2\%。在視覺化實驗中,相較 GAT 我們的方法在不同的 classes 上有明顯可見的分界線。 #### (二)在高階網路嵌入的社群偵測中選擇高頻率Motifs 摘要:網路嵌入的目標旨在將圖中節點映射到多維空間中的向量。許多網絡嵌入方法在圖中尋找鄰居的訊息來生成向量化的特徵。但是,在基於角色的圖中,我們需要的是節點的位置順序特徵,稱為高階訊息。高階網絡嵌入主要是分析「狀態」(由節點的結構定義的特徵)而不是「特色」(由節點的鄰居定義的特徵)。本文采用高階嵌入的主題選擇效果來衡量社區檢測的品質。從嵌入結果分析Motif頻率比例和分佈的差異是我們關注的重點。我們所提出的方法基於 EdMot。 EdMot 通過計算節點上三角形圖案的數量來捕獲高階邊關係訊息。獲取高階邊關係訊息後,將關係資訊添加至原始圖。生成同時具有低階邊關係訊息和高階邊關係訊息的新圖。將傳統的網絡嵌入方法應用於修改後的新圖上,以獲得同時具有局部訊息和高階邊訊息的特徵(嵌入訊息)。然而,分佈的圖在不同的數據集上存在很大的差異,這意味著三角形Motif可能無法有效地處理所有情況。我們提出一個想法,內容為選擇四個最高頻率的Motif來提高基於角色圖上的嵌入性能。實驗結果表明,當為不同的網絡選擇合適的Motif時,我們有更高的 NMI 分數和 F-Score。例如,在我們的測試數據集的 NMI 和 F-score 結果中,基於 4-clique 的圖通常比其他Motif(例如三角形)獲得更高的分數。根據實驗結果,選擇特定的頻率基序是提高基於角色的網絡中分類任務性能的有效策略。 #### (三) 使用隨機遊走生成屬性圖模型的有效方法 摘要: 由於GAE生成圖中的大部分鏈接都不是潛在鏈接,因此它通常無法滿足解決鏈接預測的性能問題。 在本論文中, 我們提出了一種基於 GCN 的方法 RWGCN 來生成一個實用的圖來利用所有對之間的更多隱式關係節點。 RWGCN 一起檢查節點屬性和圖拓撲以生成新圖。 在捕獲圖的基本屬性後,RWGCN 保證生成圖與原始圖之間的高圖拓撲相似性基於公共遊走的數量。本文的實驗驗證了RWGCN在普通網絡上有很好的效果。 最後,通過 RWGCN 正確添加適當鏈接的實驗驗證了 RWGCN 生成的圖中作為潛在鏈接的高概率鏈接的比例遠高於 GAE。當 RWGCN 生成的圖由於過度平滑而具有大量鏈接時,它能夠僅使用生成的圖中具有高概率的鏈接進行鏈接預測,以獲得較高的鏈接預測性能。 #### (四) 在節點分類上考慮 GAT 的鄰域類 摘要:圖注意力網路(GAT)是用於網路表示學習(NRL)最流行的圖神經網路架構之一。 GAT 與一般圖神經網路主要的區別在於,GAT 的目標是學習相鄰節點之間的影響力。 然而,在 GAT 中,聚合屬於不同類的相鄰節點會導致其他類的資訊混合到節點向量中。 因此,圖注意力網路只聚合有邊相連的鄰居節點以避免聚合其他類的資訊。 在本論文中,我們提出了 GATCRW 延伸 GAT 使其在節點分類任務上聚合高階鄰居節點的資訊。主要的方法是將網路拓樸結構資訊結合到 GAT 中。 我們的方法會著重在建構節點與其二階鄰居之內的相鄰節點在網路結構上的注意力,以此來表示節點與其鄰居之間在網路結構的相互影響力。 接著,結構上的注意力資訊會與從節點特徵中學習到的注意力相結合。為了驗證我們的框架的有效性,將 GATCRW 應用於三個真實世界網路做節點分類任務。 實驗結果表明,我們的方法在節點分類任務上略差於比較的方法,但是增加用來訓練的節點數量之後,與比較的方法相比可以提高 4.1% 的準確率。在訓練節點的數量少的時候,我們猜測 GATCRW 會有比較差的效能的原因在於在網路中有過多的噪音節點。 ### 黃耀廷(109-111) #### (一)使用長讀長測序的定相算法和微生物應用研究 摘要:長序列基因組定相(Phasing)技術已被廣泛用於重建雙倍體基因組、改善變異偵測,和解析宏基因體中不同菌株之微生物。 然而,現有的軟體主要關注單核苷酸多態性(Single Nucleotide Polymorphism; SNP),忽略了大型結構變異(Structure Variation; SV)和表觀遺傳修飾。 本論文提出了一種同時對人類基因組的SNP、SV和等位基因特異性甲基化(Allele-Specific Methylation; ASM)進行基因組定相的演算法,能比現有方法快10倍且具更高完整度。 以PacBio和Nanopore數據對人類基因組進行測試,本論文開發的程式可以產生更完整的單倍型塊且具有同水平準確性。 我們證明使用Nanopore超長序列同時對SNP、SV和ASM進行協同基因組定相是一種經濟有效的方法,不需要額外進行同家族基因組定序、染色體構象或單細胞鏈定序,就能提供接近染色體規模的定相。 #### (二)以奈米孔定序宏基因組之量化偏差 摘要:以牛津奈米孔定序微生物總基因體(Metagenome),可隨時隨地分析任一微生物菌落組 成。以短序列定序總基因體,已知對微生物定量會有偏差(Bias),然而目前尚未有研究 探討以牛津奈米孔定序總基因體,是否存在平台特有之偏差。本篇論文分析以牛津奈米 孔定序之混合細菌,探討奈米孔移動速度,檢體品質,和序列長度是否會造成定量偏 差。我們分析顯示不同菌種之奈米孔移動速度常有差異,且此速度差異會造成定量菌種 豐富度之偏差。另一方面,檢體品質差異並不會影響菌種豐富度之定量。最後,奈米孔 會傾向先定序短片段菌種,此會造成部分測量有偏差,然菌種奈米孔移動速度差異影響 更大。我們研究顯示奈米孔定序確實存在定量偏差,解讀菌種豐富度時,須同時考量有 這些偏差因子。 #### (三) 通過同源序列校正納米孔測序中修飾介導的錯誤 摘要:新的牛津奈米孔定序改善了流通池、定序試劑,和鹼基識別模型, 使得測序的準確性有了大幅度的提升。 然而,自然界中存在許多未知的修飾錯誤,其檢基識別模型無法辨識,進而造成定序品質嚴重下降。 本篇論文分析奈米孔定序之低品質基因體(Q30), 是由於大量未知的修飾錯誤所造成。我們先以全基因體擴增(Whole-Genome Amplification)去除修飾,證實能大幅消除這些修飾錯誤,產出高品質基因體(Q50-Q60), 然卻也失去表基因體(Epigenome)資訊。我們進一步發展出一修飾錯誤校正軟體, 稱為Modpolish,不僅能大幅提升基因體品質,且能同時偵測出修飾位置。 我們的研究結果指出未知修飾錯誤是造成奈米恐定序品質下降主因, 可透過全基因體擴增或是Modpolish校正修錯誤,產出高品質基因體。 #### (四) 在牛津奈米孔序列中,用於分類的特定物種草圖 摘要:宏基因組定序(Metagenomic Sequencing)可無需透過培養方式, 直接鑑定出微生物族群和臨床檢體中存在之菌種。若與奈米孔定序搭配,宏基因組定序可應用於感染和新生兒即時病源診斷。 然而,現有相關分析軟體為了平衡速度和準確度,經常無法二者兼顧。本篇論文開發一新的菌種鑑定方法,將菌種特有序列融入降維技巧中,稱為Smash。 此新方法能兼顧菌種鑑定之速度和準確度。我們將開發出之軟體和其他方法用公開資料測試。其結果顯示本論文所開發之軟體準確度很高,且能維持與最快軟體相近之速度。 ### 熊博安(109~111) #### (一)智慧穿戴式裝置應用於自律神經監測之研究 摘要:自律神經活性,指的是交感神經與副交感神經,兩者活性猶如油門與剎車互相影響,最後達成平衡或不平衡的狀態,也可稱自律神經功能。心率變異(HRV)已經被公認是能有效反應自律神經活性,亦即交感及副交感神經活性的有效指標。心率變異代表自律神經總活性,自律神經微調功能越好,HRV越高。在HRV 測量方法中,使用專家學者認同度高的,時域分析(Time domain)法中的SDNN數據,做為監測自律神經功能的參考值。 本研究用「文獻分析法」及「實做App」二種研究方法,先用文獻分析法,蒐集國內外和研究目的有關的相關研究文獻,歸納出SDNN雖與年齡有極大關聯性,但因個人的差異性極大,縱使同一年齡層的SDNN,分布範圍也很廣,因此可以「HRV> 50ms」,做為自律神經健康目標參考值。實做方面,使用 MacBook開發與自律神經相對應的資訊整合之第三方App,並使用 iPhone 以及智慧手表進行實機驗證。本研究App介面規劃二種HRV目標值選項,一種是以「HRV> 50ms」,內定為系統設定值。另一種是讓使用者自訂目標值,在個人差異化情況下,為能更精準設定目標,可以讓使用者,根據以往最佳情況下監測到的數據,做為自訂目標值。實做好的App,可以讓使用者,選擇日、週或月,顯示自律神經量測值與健康目標值的比較數據,近一步可以圖形化方式顯示,以便能更有效做好自律神經健康管理。 #### (二)動態部分可重組FPGA系統之CNN加速自適應卷積引擎 摘要:隨著科技的進步,從醫學影像判別到自駕車,越來越多的應用需要用到影像辨識。 卷積神經網路(CNN)已經被廣泛用於計算機視覺,尤其是影像處理,其效果甚至可以超過人類肉眼的判斷。 然而,由於大量得卷積運算和記憶體的需求,嵌入式設備通常無法滿足使用到CNN的應用。 近年來,各式硬體加速CNN的解決方法被提出,用以提高應用的效能和可行性。 現場可程式化邏輯閘陣列 (FPGA)就是其中一種硬體平台。FPGA設備的低功耗和其可重新編寫的特性,使得邊端裝置的CNN應用變得更加可靠。 此外,高級綜合(HLS)的幫助之下能,夠縮短開發不同應用的週期。 在本論文中,我們提出了一個CNN加速器架構,並且利用了FPGA部分可重組功能來達成功能可調整性。 針對一個CNN之中的每一層卷積層,依循著神經網路執行順序將可程式邏輯區塊做出對應的組態。 卷積層的實作基於巢狀迴圈的方法使得卷積運算得以平行運算。並且配合資料緩衝的方法,降低運算期間主記憶體的存取。 提出的架構主要目標是要將較大的網路實作在資源有限的FPGA設備上。 作為研究案例,VGG-16 模型在 Xilinx ZU3EG MPSoC 上實現,在100 MHz頻率下實現了21.09 GOPs每秒的效能,硬體資源利用率為25%至35%。 其結果是,單一圖片推論可以在 2.5 秒內完成,平均功耗為 2.23 W,對應的功率效率為 9.46 GOPS/W。 #### (三) ASU-Net:運用注意力及空間感知 U-Net 之脾臟破裂檢測輔助診斷系統 摘要:傳統臨床診斷脾臟破需要仰賴有經驗的放射科醫師,並且非常耗時。此外,脾臟破裂的形狀、範圍及大小非常不固定,即便是有經驗的醫師也很難準確的判別出創傷位置。目前已經有一些研究利用深度學習的分類方法來區分脾臟是否有破裂的現象,雖然這些分類方法可以初步診斷脾臟的狀況,但它們並不能準確地標記出破裂的位置,無法作為參考。因此,我們提出了一種基於深度學習的影像分割方法,在無需人工參與的情況下準確地標記出脾臟破裂的位置。 我們提出的 Efficient Atrous Spatial Pyramid Pooling 方法可以更有效地找出脾臟破裂的位置。其中,加入 Efficient ASPP 的 U-Net 模型只需要加入 Dense ASPP 的 U-Net 模型一半的參數量,即可達到 42.36% IoU 和 56.80% DSC 的性能,效果比加入 ASPP 或 Dense ASPP 的 U-Net 模型的效果還要好。此外,我們提出的 ASU-Net可以達到 42.36% IoU 和 56.80% DSC 的性能,效果比U-Net++、SCAU-Net 和Double U-Net還要準確。並且,我們提出的 ASU-Net 模型可以在單個 GeForce RTX 2080 Ti GPU 上達到 39.40 FPS。我們僅需一兩秒的時間就可以處理完一張3D腹部電腦斷層影像,大幅增加了診斷的效率,同時減少了醫師的負擔。 #### (四) 基於動態時間扭曲之跆拳道前踢動作評估系統 摘要: 本論文中,我們針對跆拳道前踢動作進行動作標準評估,我們使用跆拳道單元技術人體動作資料集(TUHAD) 中的前踢影像序列來分析,所有影像都是 RGB 色彩, 我們使用Openpose 偵測使用者和教練的骨架關鍵點,並根據我們提出的標準動作尺標來對使用者的骨架動作進行評分,另一部份則是基於動態時間扭曲(Dynamic Time Warping) 演算法來比對使用者和教練之間動作的膝關節角 度序列相似度,最後根據跆拳道品勢評分標準制定了我們的總評分量尺和分類。 我們通過實驗來制定我們的前踢動作的標準尺標,並在TUHAD 和我們收集的負樣本合併的數據集上和從youtube 收集的數據集上與ANN 模型比較準確率,實驗中將跆拳道前踢動作分解成三個部分,第一部分是準備踢擊的架式,我們定義準備踢擊的膝關節角度應在162.2 到181.5 度之間。 我們的方法在TUHAD 上有0.958 的準確率,與ANN 模型相同,在youtube 測試集上0.882的準確率,比ANN 模型0.588 高。第二部分是抬腿屈膝的動作,這時踢擊的膝關節角度應在50 到84.5 度之間。我們的方法在TUHAD 上有0.916 的準確率,比ANN 模型0.52 高, 在youtube 測試集上有0.647 的準確率,比ANN模型0.352 高。 最後第三部分是踢擊到目標點時的動作,這時踢擊的膝關節角度應在152.6 到180.2 度之間,我們的方法在TUHAD 上有100% 的準確率,比ANN模型0.957 高。腳踝關節應在126 到168.8 度之間,我們的方法在TUHAD 上有0.957 的準確率,與ANN 模型一樣。腳踝關節高度應高於頸關節,我們的方法在TUHAD 上有0.979 的準確率,比ANN 模型100% 低,而IMP 動作的分類在youtube 測試集上我們的方法有0.823 的準確率,比ANN 模型0.352 高。 ### 林迺衛 (109-111) #### (一)妊娠相關疾病的模糊中醫辨證 摘要:中醫將一個疾病的演變過程,定義成一連串的證候。診斷一個疾病目前所處的證候,即稱為辨證。本論文開發一個婦女妊娠相關疾病的中醫辨證系統。本系統將辨證問題定義為一個模糊集合的歸屬問題,每個證候用一個模糊集合定義。本論文同時採用症狀分群及症狀指數遞減權重分配來優化模糊集合的歸屬函數。本論文採用兩種效能評估係數,本論文先使用基線鑑別係數來評估證候之間的差異度。同時採用症狀分群及症狀指數遞減權重分配時,本系統20個妊娠相關疾病的基線鑑別係數可達0.808,顯示妊娠相關疾病的證候間,有相當的差異度。本論文接著使用臨床相似係數來評估系統辨證結果和臨床病例辨證結果的相似度,基於18個臨床病例,同時採用症狀分群及症狀指數遞減權重分配時,本系統的絕對臨床相似係數可達0.507,相對臨床相似係數可達0.741。由於臨床相似係數是辨證證候集合的相似度,以上臨床相似係數顯示本系統有相當不錯的臨床辨證精確度。 #### (二) 基於資料庫綱要之資料庫完整性測試的限制式測試案例產生 摘要:規格驅動開發框架使用測試案例自動產生技術,來同時提高測試案例產生的 品質,及降低測試案例產生的成本。本研究團隊已開發一個基於規格驅動開發框 架之 Java 單元測試的限制式測試案例產生系統。 這個系統依據限制式軟體規格, 應用限制邏輯程式求解限制滿足問題,來自動產生測試案例。資料庫完整性測試 確保資料庫中資料的正確性及一致性。 本論文延用規格驅動開發框架,開發一個 基於資料庫綱要之資料庫完整性測試的限制式測試案例產生系統。 本系統產生的 測試案例集可以完全滿足資料庫的主動完整性限制覆蓋標準。雖然本論文使用 MySQL 資料庫管理系統,因為本論文產生的測試腳本使用 JBDC 標準應用程式 介面,系統可以很容易的擴充至其他資料庫管理系統。 #### (三) 基於使用者介面元件包SWT的限制式測試案例產生 摘要:軟體測試是確保軟體品質的主要方法。 限制式測試案例產生是根據限制式軟體規格,使用解限制滿足問題的方法,自動產生測試案例的技術。本論文開發基於使用者介面元件包SWT的測試案例產生技術。 本論文首先制定XML形式的限制式使用者介面規格,接著制定覆蓋使用者介面元件所有屬性及事件的測試覆蓋標準,最後運用限制式測試案例產生技術,根據使用者介面規格,自動產生滿足測試覆蓋標準的測試案例集。本論文針對每一個使用者介面元件,進行單元測試,以降低前端使用者介面元件和後端計算函式之間的耦合所導致的複雜度。 #### (四)上肢傷科的中醫模糊辨證 摘要:本論文整合中醫外傷學實務及西醫外傷學檢查,開發一個上肢傷科模糊辨證系統。 本系統將辨證問題定義為一個模糊集合的歸屬問題,每個證候用一個模糊集合定義。 本論文同時採用症狀權重指數遞減分配及症狀分群來優化模糊集合的歸屬函數。 本論文採用兩種評估係數。 本論文先使用基線鑑別係數來評估證候之間的差異度,基線鑑別係數愈接近1,表示證候之間的差異度愈大,愈容易達成精確的辨證。使用指數分權分群歸屬函數,本系統的基線鑑別係數可達0.97,顯示證候之間的差異度非常高。本論文接著使用臨床相似係數來評估系統臨床辨證的精確度,基於51個臨床病例,使用指數分權分群歸屬函數,在閥值為0.5時,臨床相似係數最高,可達0.95,顯示使用0.5的閥值,系統的臨床辨證精確度非常高。 ### 黃啟富(109-111)(近年僅有指導三篇論文) #### (一) 基於瓦片的 Wi-Fi 信號室內定位系統和自動移動車輛的改進 摘要:位置信息是人們日常生活必不可少的信息之一。 我們可以將位置信息應用於很多室內外應用,比如導航、路徑規劃、人員跟踪、促銷等。 然而,由於建築物的遮蔽效應,室內定位無法利用 GPS。因此,文獻中提出了許多不同的室內定位技術。 本文介紹了一種利用 Wi-Fi 信號的基於瓦片的室內定位系統和一種性能更好的自動移動車輛。我們在離線訓練階段使用移動車輛自動收集瓦片圖像和 Wi-Fi 信號。然後,我們根據 Wi-Fi 信號將瓦片圖像分類到子數據庫中。在在線定位階段,系統可以根據當前位置接收到的Wi-Fi信號選擇合適的子數據庫。然後進行瓦片圖像匹配過程,實現快速、準確、及時的室內定位。 #### (二) 基於物聯網的心率和卡路里控制個性化跑步機系統 摘要:近年來,隨著健康意識的提高,規律的運動已經成為人們的日常生活。涉及肌肉和心肺訓練的跑步機跑步是最受歡迎的室內運動之一。在跑步過程中,心率 (HR) 根據強度增加,可以指示疲勞程度。但是,不適當的運動強度會導致運動損傷。因此,許多研究旨在預測和控制跑步過程中的心率以緩解這一問題。在本文中,我們提出了一種基於物聯網的跑步機跑步系統。在智能手錶的協助下,所提出的系統可以根據實時心率自動控制跑步速度。同時,我們提前訓練出個性化的身體狀態模型,了解用戶的體力狀況,制定適合自己的鍛煉計劃。鍛煉計劃的訓練日疲勞分數根據步數和睡眠分數反映用戶的身體狀態。實驗結果表明,我們提出的系統可以實現穩定的 HR 控制,鍛煉計劃可以幫助用戶安全地消耗更多卡路里而不會過度疲勞。 #### (三) 移動群智感知的不同有效時間覆蓋問題及隨機抽樣數據採集方法。 摘要:隨著傳感技術的發展,環境監測變得越來越可行。通過分析傳感數據,我們可以檢索有關周圍環境的有用信息。因此,以低成本有效地收集傳感數據是一個關鍵問題。一種可能的解決方案是移動人群感應 (MCS)。 近年來,由於智能設備和無線技術的廣泛普及,移動人群感知引起了廣泛關注。 人們可以使用手機參與環境數據的協同採集,無需傳感器部署和維護成本。有很多研究針對 MCS 的不同方面。然而,大多數研究使用收集的數據量來表示一個區域的覆蓋水平。數據的質量和生命週期受到的關注較少。此外,與數據收集方法相比,較少提及維持足夠覆蓋水平的機制。在本文中,我們考慮了傳感結果的生命週期,並設計了一個新的覆蓋指數來反映所收集數據的下降狀態。然後,我們提出了一種基於概率的數據收集和維護方案,可以顯著降低消息成本。在該方案中,我們採用PID控制器來控制數據採集過程。導出基於覆蓋指數的報告概率,並在每個收集週期中廣播給參與者。仿真結果表明,該方案證明了其有效性和可行性。我們的方法可以在消息效率和系統穩定性方面優於現有工作。 ### 連韶宇(109~111) 近年無指導論文 ### 郭建志 (109-111) #### (一) 提高車載網絡可靠性的智能傳輸控制方案 摘要:本文的主要貢獻是兩種新穎的智能傳輸控制方案,以解決車對車 (V2V) 通信中的網絡擁塞問題。因此,這些機制可以在數據速率調整決策中考慮車輛的風險,而現有技術則沒有。因此,這些技術提供了一種新方法來處理擁擠車輛通信中的信道擁塞問題,而不是像 3GPP/SAE 規範中指定的分散擁塞控制 (DCC) 等傳統擁塞控制機制。 搜索的兩個主要發現可以總結如下: 1. 現有數據速率控制方法中對所有車輛的發送速率的不當削減會使易受攻擊或高風險的車輛(高速移動且彼此靠近)處於高風險之中。 2. 通過提供新的​​評估因素,即車輛之間相對距離的低風險/高風險水平,我們的研究可以減少低風險車輛的冗餘數據傳輸,同時仍然保持更多高風險車輛的信道訪問機會汽車。 #### (二)多車道混合車流高速公路之自駕車車隊操縱框架 摘要:近年來,配備自適應巡航控制(Adaptive Cruise Control,ACC)的自動駕駛車已經變得更加普遍,現今的車輛通常也搭配著自適應巡航控制(ACC)的感測器配備,然而自適應巡航控制(ACC)並不足以提高交通效率,因為自適應巡航控制(ACC)主要是為了讓乘客有舒適性與安全性,因此車輛加速緩慢並且需要相對較大的安全距離,為了更穩定維持車輛之間的距離,於是提出了協同自適應巡航控制(Cooperative Adaptive Cruise Control,CACC),讓每一輛自駕車通過車對車(Vehicle-to-Vehicle,V2V)通訊與附近車輛交換動態狀態,然而只通過協同自適應巡航控制(CACC)系統進行形成車隊並不足以提高交通效率,因為每一輛車都有自己期望的速度,並且只會考慮自己最佳化行駛以及非自駕車不合作的影響。 因此我們基於一個稱為多操縱編隊框架(Multi-maneuver Platooning Frame-work,MANA)來管理自駕車車隊,但是MANA框架只考慮到車輛均為自駕車,並沒有考慮到高速公路上有自駕車與非自駕車,因此我們的目標為高速公路上有自駕車與非自駕車,並且避免非自駕車佔據所有車道或影響附近自駕車而造成交通壅塞,在通常情況下自駕車為非自私的,於是可以通過與其他輛自駕車合作,將非自駕車進行驅趕,以便讓交通順暢,此外以往對變換車道操縱的研究通常注重於安全性和防止碰撞事故的發生,而不考慮在自駕車車隊下進行共享道路上本地互動。 為了解決上述問題,我們新增與修改了MANA框架中的操縱,具體來說,我們主要新增與修改MANA框架中的換道操縱(Lane-Change Maneuver,LCM)以協助自駕車車隊在混合交通壅塞中執行各種操縱,從大量模擬結果表明,在與混合車流情況下的MANA相比,修改過後的MANA可以有效避免碰撞,並且車輛行駛的距離將增加21.9%,時間損失將減少86.27%,相較之下,MANA能夠增加15.19%的燃料效率,並減少17.38%的每公里所造成的CO2排放量。 #### (三)透過行動邊緣計算進行遮蔽部分神經網路層以抵抗聯邦式學習之生成對抗網路攻擊 摘要:隨著對機器學習隱私問題的日益關注,每位使用者皆不希望自己的私人資料被散播出去,所以聯邦式學習(federated learning)被開發出來,目的是為了提供在裝置上的訓練,與以往的集中式學習這種需要將使用者資料上傳至中央伺服器進行訓練的方式不同,聯邦式學習是中央伺服器先將模型傳送至使用者裝置,使用者再使用自己的資料訓練模型,最後上傳經過訓練後的模型參數。 但是模型反轉(model inversion)的攻擊行為正在破壞訓練資料的隱私,更具體的說,攻擊者偽裝成聯邦式學習的一般參與者,並且在其他人不知道的情況下,藉由訓練生成對抗網路(generative adversarial networks)來複製其他使用者的私人資料, 而我們發現對攻擊者遮蔽至少一層後面的神經網路層,攻擊者所產生的影像就變得幾乎沒有意義,因此為了避免被攻擊者複製其他使用者的私人資料,我們設計了一種新穎的模型切割防禦系統,名為Privacy-Aware Model Partition Defense System (PAMAS),透過使用者裝置和可以信賴的邊緣伺服器來共同抵抗GAN攻擊,藉由對使用者裝置遮蔽至少一層後面的神經網路層以及將第一層與最後一層分配在使用者裝置上來避免使用者的資料和標籤被邊緣伺服器存取。 然而最近的模型切割方法主要目標在於推理時間最小化,並未考慮到使用模型切割來抵抗GAN攻擊以及最小化FL的訓練時間,如何將模型分為兩個部分在滿足安全問題的同時最小化訓練時間帶來了三個挑戰: (1) 遮蔽部分神經網路層效果的不確定 (2) 計算與傳輸時間的權衡 (3) 正向與反向傳播的交互作用 因此我們制定了一個新的最佳化問題,稱為Time-Efficient Secure Model Partition Problem (TENSOR),以最佳化訓練時間,針對PAMAS帶來的挑戰,我們提出了一種產生最佳解的演算法,叫做Time-Efficient Secure Layer Concealing Algorithm (TESLA),透過建構一張輔助圖來最小化訓練時間,實驗和模擬表明,使用TESLA的PAMAS能夠在有效的防禦GAN攻擊的同時最小化訓練時間,而TESLA與其他方法相比,減少了50\%的訓練時間。 #### (四) 多車道高速公路之自駕車車隊操縱框架——基於有限狀態機之設計 摘要:近年來,自動駕駛車輛越來越盛行,通常現代車輛具備自適應巡航控制(Adaptive Cruise Control,ACC),使得車輛可以在安全距離內保持自己所需的速度,但是ACC安全間距較大且收斂速度較慢,導致無法有效提升交通效率,因此協同式自適應巡航控制(Cooperative AdaptiveCruise Control,CACC)被提出,每輛自駕車透過車對車(vehicle-to-vehicle,V2V)通訊與相鄰車輛交換其動態訊息,以穩定保持車輛之間的距離,而縱向車隊為CACC典型的應用,車隊使得車輛之間的距離比普通車輛更近,從而提高交通吞吐量,此外由於較小的速度變化和速度對於碰撞的影響相對較低,使得安全性得到提高,車隊不僅是提高交通效率與安全性的一種很好的方式,而且還可以通過減少空氣阻力來降低燃料消耗與排放。然而縱向車隊僅透過CACC並無法有效提升交通吞吐量,因為每輛車都具有自己的期望速度,並且只考慮到自身優化的行駛路線,此外,先前在換道操縱的研究,通常只注重於安全性以及預防碰撞事故,都沒有考慮到車隊有超車、讓車、預留空間等情形,為了考慮以上情形,具有以下三個挑戰:(1)車隊是否需要超車或讓車。(2) 車輛以車隊或是獨自的方式駕駛。(3) 是否要保留超車車道。因此開發一種新穎的架構稱為Multi-maneuver Platooning Framework(MANA),來決定合適的車隊合併操縱(Platoon-Merge Maneuver,PMM)、換道操縱(LaneChange Maneuver,LCM)、空間保留操縱(Space-Reserve Maneuver,SRM),最後實驗結果表明,MANA不僅可以有效避免碰撞、快速收斂、提高交通流量,還可以將燃料消耗節省24%、CO2排放減少20%。 ### 柳金章(109-111) #### (一)以深度神經網路作人臉光照恢復 摘要:在本研究中,提出了一種使用深度神經網路的人臉光照恢復方法。本篇 研究方法由兩個網路組成,即深度曲線估計網路和光恢復網路。提出的深 度曲線估計網路用於估計光恢復曲線。然後,通過在三個(R,G,B)特徵 圖上迭代應用光恢復曲線,會得到最終的人臉光照恢復圖片(處理後的圖 片)。給定一個光照不均勻的人臉圖片作為輸入,經由深度曲線估計網路訓 練過後,將其產生的特徵圖與輸入人臉圖片經由光恢復曲線迭代運算產生 最終的結果。 依據本研究獲得的實驗結果,在客觀指標和和主觀評價方便,本篇論文 所提出的方法的性能優於三種比較方法。 #### (二)以深度神經網路作視訊區塊效應去除 摘要:視訊編碼技術用於壓縮視訊資訊,但由於有損壓縮,它們可能會產生一些視覺偽影。在這項研究中,提出了一種以深度神經網路作視訊區塊效應去除的方法,所提出的方法包含時間融合子網、可變濾波器大小 (VFS) 子網和增強子網。其中視訊區塊效應去除是通過緩慢融合來執行的,使用相鄰視訊 frames 之間的相關性。為了減少視訊解碼偽影,在本研究中,使用光流計算、VFS 卷積、相應層之間的跳過連接以及兩種激活函數,即整流線性單元 (ReLU) 和參數整流線性單元 (PReLU)。根據本研究獲得的實驗結果,在客觀指標和主觀評價方面,所提出方法的性能表現優於其他四種比較方法。 #### (三)以深度神經網路作視訊陰影檢測和去除 摘要:影像/視訊中的陰影可能會降低影像/視訊中電腦視覺應用的性能。在這項研究中,我們提出一種基於深度神經網路的兩階段視訊陰影檢測和去除方法。在這項研究中,採用早期融合作視訊陰影檢測,每張陰影檢測視訊frame由相鄰的五張視訊frames獲得。將利用相鄰視訊frames之間獲得時間資訊,以減少偽影的產生。所提出的視訊陰影檢測方法包括殘差網路、修改後的DS模組和frame特徵融合進行陰影檢測。而基於陰影檢測結果,陰影去除是對陰影視訊frames進行修復,所提出的陰影去除方法包括CNN編碼器、細粒度視覺轉換器塊、和CNN解碼器,其中細粒度視覺轉換器塊包含融合前饋網路、軟分割(SS)和軟合成(SC)。 依據本研究獲得的實驗結果,在兩個客觀性能指標和主觀評價方面,本篇論文所提出的方法性能優於五種比較方法。 #### (四)以深度神經網路作低光影像增強 摘要:在這項研究中,提出了一種使用深度神經網路的低光影像增強方法。 所提出的方法由兩個子網路組成,即特徵提取子網路和顏色增強子網路。特徵提取子網路從低光影像中提取影像特徵並增強紋理細節,顏色增強子網路恢復低光影像的顏色訊息並進行影像去雜訊。顏色增強子網路採用了一種預處理技術,即相對全局直方圖拉伸。最後,融合特徵提取子網路和顏色增強子網路的處理結果,生成最終的增強影像。根據本研究獲得的實驗結果,在兩個客觀性能指標和主觀評價方面,所提方法的性能優於五種比較方法。 ### 林維暘 (109-111) #### (一)利用循環 CNN-Transformer 網路對 FA 序列進行息肉狀脈絡膜血管病變分割 摘要:本文的研究目的是從螢光血管造影 (fluorescein angiography,FA) 中分割息肉狀脈絡膜血管病變 (polypoidal choroidal vasculopathy,PCV) 的範圍,以協助臨床醫生評估 PCV 的嚴重程度與監測 PCV 的進展、引導光動力療法 (photodynamic therapy,PDT) 和抗血管内皮生長因子療法、評估 PCV 病患治療後的有效性和藥物臨床試驗中不同治療方法的治癒率。我們模型由 CNN-Transformer encoder 和 recurrent decoder 組成,不僅兼具保留低階細節特徵和建模長期依賴的能力,而且還利用 FA 影像序列中的時間資訊來提高分割表現。此外,我們設計一個新穎的兩階段程序,用於在小樣本的醫學影像上有效地訓練模型。實驗結果表明,我們的模型在 EVEREST 資料集上取得最具競爭力的結果,Dice 相似係數 (Dice similarity coefficient,DSC)、sensitivity、specificity 和第 95 百分位 Hausdorff 距離 (95th percentile of Hausdorff distance,HD95) 分別達到 64.31 %、76.21 %、98.03 % 和 35.75 mm,這表明我們的模型在 PCV 分割任務中具有卓越的分割能力。與四個最先進的方法相比,我們的模型具有最高的穩健性,以應對不確定性的干擾因素。在EVEREST 資料集、泰國拉察維蒂醫院 (Thailand Rajavithi Hospital,TRH) 資料集和臺北榮民總醫院 (Taipei Veterans General Hospital,TVGH) 資料集上的分割結果表明我們的模型具有泛化能力。消融研究表明 CNN 與 Transformer 結合的重要性和時間資訊的作用,以及兩階段程序的作用。 #### (二) 針對深度學習之人臉識別模型的對抗攻擊 摘要:深度學習技術近年來發展的速度相當快,在電腦視覺的領域中有許多相當亮眼的表現。目前有許多深度學習技術被應用在日常生活中,例如人臉識別系統。然而,在人類日常生活逐漸依賴於深度神經網路的同時,深度神經網路有一些潛在的危害也正被揭露,因而神經網路的安全性也開始被人關注。 在本文中,我們提出了一種基於超像素分割和人臉關鍵點偵測來找出五官區域作為前景以生成對抗樣本的攻擊方法。首先,通過計算人臉關鍵點偵測演算法從人臉影像中擷取眉毛、眼睛、鼻子、嘴巴的區域,再使用超像素分割演算法補齊像素值相近但沒有被框到的部分,以這些區域作為遮罩,最後結合現有的攻擊方法生成對抗樣本。實驗結果顯示,在加入我們的方法後,生成的對抗樣本以失去些許攻擊成功率為代價,大幅提高了最接近人眼視覺的結構相似性指標 (SSIM) 的數值。此外,我們也在現實世界中攻擊成功,在將對抗樣本透過影印的方式輸出後透過鏡頭拍攝,依然會讓人臉辨識模型判斷錯誤。 #### (三) 基於深度學習之惡意攻擊的對抗防禦方法 摘要:在本論文當中,我們提出了一個針對模型防禦的方法,主要可分為兩部分,第一部分是屬於預處理 (Pre-Processing) 的流程,在這個流程中以去除雜訊(Denoise) 為主軸,我們發現當實行以毒攻毒的策略,也就是在受到攻擊之後,以再加入雜訊的方式對圖片做處理,是能夠幫助我們去進行去除雜訊的,再來加入超解析度成像 (Super Resolution),不管是受到攻擊加入雜訊或是清除雜訊,都會使得我們的圖像的細節丟失,而超解析度成像能夠幫助我們使圖像恢復的接近於初始圖,這能讓我們的模型更好的去辨識。 第二部分,除了預處理的方法之外,我們還結合了對抗性訓練(Adversarial Training),對抗性訓練是利用不同攻擊產生更多的資料集,使得模型能夠辨別受到 攻擊的圖片,但這個方法缺點也很明顯,它的計算量龐大,而且一旦出現新的攻擊 方法,很可能會無法防禦。當我們搭配了預處理方法的時候,我們只需要多訓練一 組資料集就可以達到上述對抗性訓練的效果,面對未知的攻擊也不是無法防禦。我們使用花卉資料集做實驗,初始訓練的乾淨樣本準確率有 90.79%,而受到攻擊後的準確率大約落在84%,防禦對抗攻擊的能力是可以達到九成的。 #### (四) 基於多尺度特徵融合Transformer的視覺物件追蹤 摘要:視覺物件追蹤指的是在一個影像序列中給定第一幀目標區域後,在後續幀中 找到該目標區域的任務,而由於場景遮擋、物體本身形變等複雜因素,目標與場景 的外觀會發生劇烈的變化,這使得追蹤任務面臨極大的挑戰。儘管現在國內外學 者提出了多種追蹤算法,但追蹤算法的穩健性依然是個難題,因此本論文於物件 追蹤的任務上,發展出一個能夠克服不同的場景與干擾下穩健的找到目標的追蹤 演算法。在本論文當中,我們提出一種基於多尺度特徵融合Transformer 的物件追 蹤框架MSFormer。其方法將標準的物件追蹤任務的(1) 特徵提取(2) 關係模組(3) 回歸分支的三個步驟整合成一個以多尺度特徵融合為基礎的骨幹網路與Corner 回 歸分支,讓物件追蹤任務的步驟更為簡潔與效率。我們提出的多尺度特徵融合模 組將模板與搜尋範圍的特徵在多種不同尺度上進行融合,以適應追蹤過程中目標 物的尺度變化。此外,我們引入了Score Head 來幫助篩選動態模板,以提高動態 模板的穩健性,並穩定追蹤器在目標發生形變或干擾的追蹤性能。最後,我們利 用卷積的Corner Head 來輸出目標的位置。為驗證我們的追蹤器MSFormer 的有效 性,分別在在GOT-10k 的AO 指標得到70.9%,LaSOT 的AUC 指標得到67.5%, TrackingNet 的AUC 指標得到82.9%,UAV123 的AUC 指標得到68.9%,顯示這四 種物件追蹤資料集的評估中MSFormer 皆獲得具有競爭力的結果。 ### 劉偉名(109-111) #### (一) 磁振造影下以U-net系列網路進行腦腫瘤組織分割 摘要:神經膠質瘤為大腦最常見的一種惡性腫瘤,主要的治療方法為外科手術及放射治療。 臨床上醫師會利用磁振造影(MRI)追蹤腫瘤的變化以及擬定治療計畫,其中就包含了腫 瘤輪廓的描繪工作,傳統上須仰賴醫師人工判讀和手動描繪腫瘤區域,十分費時費力。 由於近年來深度學習技術已逐漸成熟,透過深度學習進行快速且高品質的腦腫瘤分割成 為可能。 本篇論文中,我們的目標是利用 BraTS2019 公開資料集和醫院內部的臨床資料訓練 腦腫瘤組織的自動分割模型,由於使用的兩種資料集特性上的差異,我們沒有使用在 BraTS 競賽中主流的 3D 模型,而是採用了近年來廣泛應用於醫學影像分割任務的 U-Net 及 U-Net 3+模型,在其基礎上修改模型,並加入注意力機制提升網路的性能。我們提出 的方法其整體腫瘤區域及腫瘤核心區域的分割 Dice 值以 BraTS 資料進行驗證,最終可 分別達到 0.8934 與 0.8337,經過微調後的模型在 VH 測試資料可分別達到 0.8788 與 0.8494。 #### (二) 使用無人機之多光譜造影進行水汙染之資料處理與分析 摘要:在2021年的全球缺水國排名中,台灣在榜上排名第十八位,每人所得降雨量只有全世界平均值六分之一,水資源與人類生產力和生活息息相關,由於水資源環境日益惡化,使得能夠準確、快速測量出水質汙染分析已成為目前研究的熱點。在本研究中,我們利用一架無人機飛人載具(Unmanned Aerial Vehicle, UAV),裝置Micasense Rededge-MX Dual Camera多光譜相機來分析六種水溶液資料集:飲水機的飲用水、校園內的寧靜湖、農田旁大水溝、農田灌溉用水、蓮花田以及蓮花田旁的水溝。我們利用波段範圍為430~860 nm的10鏡頭多光譜相機來實作多光譜影像自動對位算法,解決多光譜相機不同成像波段之間的影像錯位問題。本研究使用三種影像對位評估方法:RMSE、BPE以及RE,來說明自動對位框架比傳統影像對位有更高的準確率,以利後續擷取水溶液ROI時,計算水溶液吸收率,分析水溶液光譜數值。 紫外-可見光光譜可用來進行水中污染物的定性與定量分析,本研究增加了短波紅外光譜儀來進行水質檢測研究,因為水中有機物有可能在紅外波段有較大的感應。兩台光譜儀的感測範圍總共涵蓋200~1650 nm,共2281波段。所測得之吸收率光譜與多光譜相機所測得的十個波段反射率數值比較其差異。為了能最大化區分六種水所測得的吸收率光譜,我們嘗試了不同的前處理方法,並使用SID方法來量化水溶液間的光譜差異程度。另外,我們比較當日取得之水體(較混濁的水)以及靜置隔一星期後的水體(清澈的水),發現當日水體能明顯看出不同採集處之間的差異。 #### (三) 以深度學習網路自動定位電腦斷層影像缺血性中風病灶 摘要:缺血性中風是一種急性腦血管疾病,過去缺血性中風一直是十大死因之一,患者若是越早進行治療,康復的機率就越大,而在電腦斷層掃描(CT)影像中缺血性中風(Ischemic Stroke, IS)在顏色差異與形狀上並不明顯與固定,對有經驗的醫生來說也是個耗時且充滿挑戰性的任務。在本篇研究中,我們使用不同深度學習網路在CT影像中自動定位缺血性中風的位置,希望這項技術可以有效輔助醫生定位病灶,並減少誤判,成為在定位IS的臨床決策工具。 在影像前處理部分,我們先將醫生標記IS的位置轉換成深度學習網路所需要的資料格式,與手動處理進行資料類型轉換相比節省大量時間外,也提升IS位置標記的準確度。另外在前處理中頭顱剝離(skull stripping)的部分,我們也提出另一種非AI的方法提取出可能包含IS的腦組織。與其他論文的方式相比,在腦組織分割上有較高的準確性。 最後本研究評估四種深度學習網路:Faster R-CNN、SSD、YOLOv3與YOLOv4在CT影像中定位IS位置的表現,並比較偵測的結果。我們發現Faster R-CNN相較於其他三種網路有較高的AP(average precision),且可以定位出其他三種網路沒有找到的IS位置。 #### (四)以壓電感測器為基礎之列車及 鐵軌狀態感測系統 摘要:台灣的國家級鐵軌建設有台鐵與高鐵,台北高雄兩大城市亦有捷運和輕軌路網,已與生活緊密相連。台灣發生過幾次重大傷亡事故,高鐵和捷運也都有過雜物掉落月台或者有人臥軌輕生的新聞,各種突發狀況考驗了駕駛的反應速度和站務人員的危機處理能力。 在本研究中,除了分析合作對象提供的捷克當地列車信號外,我們也使用樹莓派連接壓電感測器,蒐集列車經過鐵軌時因振動所產生的類比訊號,經過類比數位轉換器將訊號轉成12bit數位訊號,並將數位訊號存成txt檔,透過4G網路以寄送信件的方式即時回傳以便分析資料,藉此分析出車速、車廂數量、偵測鐵軌上之異物等功能,預期效益為增加可靠性與安全性。 本研究所開發的設備封裝在約35cm×27cm×25cm的鐵盒內,鐵盒對外線路的孔洞以epoxy防水AB膠黏合,以防止雨水滲入設備。此外因擔心有心人士的破壞造成列車行經之危險性,因此使用兩台無線攝影機並用透明壓克力罩蓋上,將影像回傳至雲端,並且能透過網頁即時觀看。為了鐵路安全,整體系統的設計已針對使用環境做縝密的考量,我們也已與鐵路局合作將該系統安裝在平交道旁蒐集資料。 ### 程芙茵(109-111) 近年未有指導論文