# 蔡欣穆老師研究團隊介紹 (2024更新)

**欣穆老師:**

(2024/03/17 Update)
我已經完成這屆碩士班的招生，因此**之後應該不會再面試其他同學**了。謝謝大家的關注，祝大家之後都可以找到喜歡的研究團隊加入。

(2024/03/13 Update)
本週(3/11-3/15)面試的時段**已經完全排滿**，因此面談表單暫時關閉。如果有需要找我談的，請直接email給我([e-mail])，謝謝。

(2024/03/08 Update)
**今天是台大碩士班第一階段放榜。平常我都在博雅教學館R410辦公室而不在系上的辦公室。目前還有很多名額～歡迎大家找我!**

**如果有意願和我面談的同學，請填寫[這個表單](https://forms.gle/DK8fLSLKQ6ZvmLrdA)或者直接寄信給我([e-mail])，我應該在1天內就會回信跟你約線上或者實體面談的時間。如果許久都沒有收到我的回信，請再寄一次信提醒我，沒有關係～**

想要多瞭解我的，可以看這幾篇ptt貼文，裡面有寫關於我的理念、做的研究等等:
* 2022年的[第三篇](https://www.ptt.cc/bbs/graduate/M.1669304337.A.364.html)
* 2021年的[第二篇](https://www.ptt.cc/bbs/graduate/M.1637200858.A.C84.html)
* 2020年的[第一篇](https://www.ptt.cc/bbs/graduate/M.1605678542.A.78B.html)(建議這個可以看一下，比較了解我收學生的理念)

如果想要花比較多時間，更深入瞭解我過去10年主要的研究領域的同學，可以觀看：
* 可見光通訊/車聯網領域：2019年在中華顧問工程司的演講Connecting Vehicles with Light ([連結](https://www.youtube.com/watch?v=4uBOJcxJBwA))

而如果想要多瞭解我正開始努力發展的數位學習領域方面的，或許可以觀看：
* 2023年台大新進教師研習營：混成式教學，從第一天做起 ([連結](https://www.youtube.com/watch?v=BxJQEA38dhk))
雖然這個影片的聽眾是教師，不過對於我想要研究的議題的背景有很多的描述。另外[這邊](https://youtu.be/BxJQEA38dhk?si=ENAaeJlnUN1idZZf&t=1212)開始，也有講到一些資料分析產生出來的結果。

正片開始～2024 & 2023年更新如下：

# 獲獎

2023年獲得了兩個研究獎項肯定：
1. **台大學術勵進青年講座** ([連結](https://ntuvp.ntu.edu.tw/upload_files/messages/4516.pdf)): 這是今年台大新設的制度，全校僅有15位青年教師獲獎（電資學院2位，其中資訊工程系1位）
2. **年輕學者創新獎**（傑出人才發展基金會）([連結](https://www.faos.org.tw/News/news_233.html)): 基金會為鼓勵年輕學者在學術上創新、進行長期的研究所設的獎項。2023年有13位不同研究領域的研究學者獲獎。

過去則曾獲得台大教學傑出獎、台大校內服務傑出獎、Intel青年學者獎(Intel Early Career Faculty Award)。

# 研究

底下是最近兩屆碩士班同學進行中的研究主題，可以讓大家對於目前實驗室研究進行的方向、樣態有更多的理解。不過，碩士班新生會選定自己的研究主題，不會直接進行這些研究題目。實驗室的研究方向，大致可以分為：**交通、醫療、數位學習、光通訊&定位**幾個方向。前三者的大多是利用現有的AI模型來解決真實世界的問題。

先分享一些近期重大的成果：
-=-=-=-=-
**MatrixLoc: 使用矩陣式頭燈的高精準度相對車輛定位系統**

2024年我們在頂級國際會議IEEE INFOCOM預計將發表"MatrixLoc: Centimeter-Level Relative Vehicle Positioning with Matrix Headlight"這篇論文（已獲接受、預計今年5月在溫哥華發表）。

目前常見的車輛相對定位技術包含光達及雷達，但光達成本較高、雷達的精準度較差。如圖中所展示，我們運用了高階車輛產品中逐漸出現的矩陣式頭燈和由多個光感測器組成的線性陣列，組成了一個高精準度的相對車輛定位系統。目標車輛的頭燈投射出人眼不可見、內含正弦曲
線訊號的條紋圖形，而配備定位感測器的車輛則針對圖形取樣，利用取得的空間訊號來推估自身
相對於目標車輛的相對縱向、橫向位置及旋轉角。這樣的系統利用了類似於全球定位系統 (Global
Positioning System, GPS) 的概念，系統對目標區域投射定位訊號，而任何在目標區域的車輛，可以因為接收到這樣的訊號，進行比僅使用普通感測技術（例如雷達）時更為精準的定位。這個系統僅需要一次測量，就可以進行精準的位置估計，因此定位所需的時間延遲被最小化，僅需要 70 ms。

這次招收的碩士班同學，也會尋找合適的同學繼續這個研究主題，重新將感測方式改由以一般相機及影像處理作為搜集資訊及估計位置的方式。


**ReMark: 隱私保護的基準標記系統**

2023年我們在頂級國際會議ACM MobiCom發表了[ReMark](https://dl.acm.org/doi/10.1145/3570361.3613289)這篇論文、[投影片](https://sigmobile.org/mobicom/2023/media/presentations/YuRemark.pdf)。這也是台灣在這個頂級國際會議29年來**第三次**全台灣作者的論文~

基準標記（Fidicual marker）指的是類似QR code這樣的二維圖像，可以讓拍攝端從標記拍攝出來的形狀估計它的姿態，並且可以解碼隱含在內的ID。在這個研究中，我們主要的貢獻是做出了一個可以保護隱私的標記系統。影像中通常會包含標記本身和其他不需要的背景。這些背景，卻可能被作為攻擊的素材，例如辨識出在環境中的人、器材、場所等。在我們的系統中，我們結合了單像素相機（single pixel camera, SPI）和retroreflector反光材質的marker，可以用光學的方法在影像還沒數位化被擷取，就可以過濾掉不需要的背景。


**RayTrack: 使用動態可視範圍的室外可見光通訊**

2021年在另外一個頂級國際會議ACM MobiSys則發表了[RayTrack](https://dl.acm.org/doi/10.1145/3458864.3466867)。

請看[這隻報告影片](https://youtu.be/4-MUfXj4-Lo)。

RayTrack用於高速車對車的可見光通訊，在這個研究中我們使用了目前用於投影機的Digital Mircromirro Device (DMD)這個元件，來建造這個可見光通訊系統的接收端。DMD上面有數百萬個小鏡子，搭配Compressive Sensing技術，讓我們可以動態、高速追蹤傳輸端光源的位置，排除所有來自其他方向的干擾或雜訊。


-=-=-=-=-
而目前實驗室進行的一些研究簡述如下(碩士班同學們)：

<!-- ### 何宜融 -->

**應用於車輛可見光通訊之穩固光束追蹤系統** (交通/光通訊)

本研究是上述RayTrack的下一代系統，主要聚焦在高速的車用可見光傳輸端。
我們選擇使用擁有指向性、窄光束的可見光雷射來當作我們的媒介，在接收端設計一個能夠偵測的反光標記來讓發射端能夠偵測到這個標記並準確地將雷射導引到在接收端上來做傳輸。可以看[這支影片](https://youtu.be/uCVacuF5KPE)中的展示。在手推車上放置了可見光通訊的接收端，僅有1平方公釐的面積，但是雷射卻可以持續追蹤、而雷射上持續可傳輸如影片串流的資料到接收端。


<!-- ### 陳少洋 -->
**影像辨識於翻轉教室之學生投入程度分析系統** (數位學習)

近年來的翻轉教室逐漸普及，教授於課堂中鼓勵學生能夠以組為單位進行討論與報告。然後如此的座位配置讓教授難以掌握每位學生的學習狀況（原本都面向講台，現在可能會被對教師），因此希望透過影像辨識對學生的動作進行分析，幫助教授了解學生在課堂中的投入程度。本研究透過機器學習並在教育領域的專家幫助下，標記出學生在不同動作下的投入程度，並成功讓電腦透過學生動作及互動的物品分類出三種不同的投入程度（分別是低、 中、高），幫助教授了解各組別的學習狀況。

目前我們也正在進行一個和業界合作的計畫。主題是將這個研究結合ReMark（見上方）所發展的**隱私保存**的方式，以Generative Adversarial Network (GAN)的訓練方式，對抗攻擊者，防止其擷取影片中獲取拍攝到的人物並判斷身份。訓練出來的網路會用以產生過濾的圖案，以光學的方式，在空間頻率(spatial frequency)領域過濾對辨識身份較為有效的資訊。


**學習影片的播放速率預測** (數位學習)

近年來，線上學習成為主流的教學模式之一，其中將內容豐富的影片作為主要教材的影片學習 (Video-based Learning) 佔據了重要地位。然而不同於實體課程，影片學習中教師無法透過學生的反映及時調整教學步調與方式，也導致學生會透過調整播放速率來適應課程內容。但是手動調整播放速率將可能影響學生上課的專注度，也會降低影片學習於行動裝置等較難調整速率的場景中之易用性。在本研究中，我們透過提取學生過去個人行為與不同影片片段的統計數據，建立一套播放速率預測模型，並利用預測結果達成個人化、考慮影片內容特性、且不需額外設備即可使用的自適應速率功能。


<!--### 陳以峰-->
<!--Title: Camera-based dental shade selection system with deep learning .
-->
<!--Content: Clinical dental shade matching has posed a persistent challenge for dentists and technicians. Traditional methods of tooth shade matching rely on manual visual judgment, but the accuracy is not consistently high. This often results in the frequent replacement of veneers, causing time losses for patients, dentists, and dental technicians, while also increasing the cost of remaking veneers. Currently available methods for assisting tooth shade matching in the market require the purchase of expensive instruments. In response to this issue, we designed a low-cost and highly accurate system utilizing a camera as the measuring tool. The system employs deep learning technology to precisely predict the colors, textures, and shapes of different ceramic veneers on various abutment teeth. Through the system's algorithmic recommendations, dentists and dental technicians can intelligently and automatically select the most suitable veneer materials. This not only streamlines the entire process, making it faster and more convenient but also establishes an efficient communication bridge among patients, dentists, and dental technicians.-->

**深度學習的相機牙科比色系統** (醫療)

臨床牙科比色一直以來都是牙醫師與技師所面臨的挑戰，傳統的牙齒比色方法依賴人工肉眼判斷，但正確率並不高，這導致牙貼常需要重新更換，給病人、牙醫和牙技師帶來時間上的損失，也增加了重新製作新牙貼的成本，然而目前市面上幫助牙齒比色的產品價格昂貴，並需要購買特定儀器，因此我們設計了一個低成本且高精準度的系統，只需要使用相機作為測量工具，利用深度學習，能夠精確預測不同陶瓷牙貼在不同支台齒上的顏色、紋理和形狀，並透過系統演算法的推薦，能讓牙醫師和牙技師能夠更智慧且自動化地選擇最適合的牙貼材料，使整個過程更加迅速方便，以及降低更換錯誤牙貼的成本。


<!--### 陳懷平-->

**現代化航空交通管理系統** (交通)

航空交通管理旨在確保空中交通的有序運行，以提高安全性和效率。目前，這項職責需要地面航管人員與機師進行有效的溝通，但面臨著嘈雜的環境和語言障礙的挑戰。此外，航管人員需要同時處理多架飛機，使其負擔沉重。

本研究致力於發展一個自動航空交通管理系統，旨在提高交通管制的效能，減輕航管人員的工作負擔。透過提出一套全新的架構，期望實現對空中交通的自動排程和管理。這將為航管人員提供更有效率的輔助工具，使其能夠更輕鬆地應對複雜的航空交通管制工作，同時確保事故的最小化風險。現代化的航空交通管理系統將成為未來航空業提升整體運行效能的重要一環。


ref. Stable Diffusion

<!--### 李昱廷-->

**基於無線網路 CSI 的車輛盲點偵測系統** (交通)

台灣的道路環境較為複雜、機車數量眾多，若車輛都配備有能夠輔助駕駛隨時掌握自身周遭車況的系統，則可以大幅增進行車安全。現行常用於盲點偵測的設備中，攝影機易於受環境光線影響、雷達則受限於有限的 FOV，且需要額外的安裝成本。基於車聯網技術逐漸普及，我們試圖讓這些具有無線網路通訊設備的車輛，可以在交換訊息的同時透過通道狀態資訊 (CSI) 感知周遭環境，並透過機器學習的方式對資料特徵進行分類，以在必要時發出警示。


<!-- ### 林紹維 -->
**行車加減速預警系統對於道路使用效率之影響探討** (交通)

隨著車輛的普及道路的使用趨近了飽和，塞車的現象頻繁出現。觀察高速公路上的路況可以發現塞車的原因經常來自於車輛突然的加減速，導致後方車輛做出了比前車更大的減速行為，進而產生逐漸放大的減速行為。倘若駕駛能夠提早知道前車的煞車行為，並且知道煞車的量，就能減緩所謂的放大效果及剎車波的傳遞。本研究希望藉由行車記錄器的影像，提早警示駕駛與前車的相對速度並做出相對應的加減速行為，降低反應時間，並透過模擬探討如此對於道路使用率的改善。


<!-- ### 李家妤 -->

**基於測距感測器 (ToF sensor) 的無人機定位** (交通/光定位)

通常在進行 3D 定位時，我們多半使用 RGBD 相機或 3D LiDAR，並搭配複雜的演算法，使自身能夠定位。然而，這會增加計算和資源消耗成本，尤其導致無人機在進行定位時很容易耗盡電力。因此，我們計劃使用消耗成本較低的 ToF 感測器，以實現透過較低資源的方式進行 3D 定位。

在實作方面，我們打算利用 ToF 感測器的距離估算特性來設計一個專為 ToF 感測器製作的 marker。這個 marker 能夠編碼一些資訊，使得無人機可以通過這些資訊推斷出自身的位置。