台灣學術圈 TinyML 發展現況

作者：許哲豪 2024/6/25

今年 Computex 2024 生成式 AI 火爆全場，各家 CEO 都紛紛來站台宣揚 AIGC & AIPC & NPU 世代來臨，全台產官學研的資源也幾乎壓寶於此，主要集中在行動智慧(手機、平板、筆電)的應用，對於嵌入式及穿戴式智慧(單板微電腦、單晶片)就僅有少數廠商參與，對比十多年前智慧物聯網(AIoT)興起時，滿場子都是智慧應用裝置，就顯得有些被邊緣化了。

建構 TinyML 生態系

身為超級邊緣人一份子，不免想幫大家更了解這個生態系，進而能投入更多資源來助威。邊緣智慧領域跨度頗大，大家可以參考「【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案」[1]，而一個完整的生態系必需包含下列條件。

• 買的到、買的下手的硬體及開發套件 （供應商級）
• 原廠充份的開發說明文件及範例程式 （工程師級）
• 適量的應用例、教材及影片 （教育單位級）
• 理想的交流空間、社群互動 （一般開發者級）
• 更深入的理論開發及實踐 （學術研究級）
• 政府機構及民間團體的協力推動 （政策推動級）

從以往的智慧物聯網(AIoT)經驗來看，嵌入式、穿戴式、微型感測式的智慧應用看似很有市場、技術門檻不高、應用領域很廣，但實際上大多數想把雲端 AIoT 轉向裝置端 AI 都會遇到相當多困難，就像開發汽車（GPU AI）或腳踏車（MCU AI）的工程師突然跑去開發機車（MPU/MCU + NPU）一樣地不知所措，中間技術的鴻溝需要更多的邊緣智慧(Edge AI)及微型機器學習(TinyML)教學課程及第三方軟硬體及系統供應商來協助解決。

若將裝置端 AI 技術領域拆解，從各大專院校所開設的課程大致可分為下列領域。

• 數位邏輯及積體電路設計（CPLD / FPGA / NPU）
• 計算機結構（CISC / RISC）
• 程式語言（ASM / C/C++ / Python）、演算法及人機界面(GUI / HMI)
• 嵌入式系統開發（微處理器MPU / 單晶片MCU / 神經網路處理單元 NPU）
• 編譯器（Compiler）及即時作業系統（RTOS / ROS / MBED）
• 資料探碪（大數據）及機器學習（Machine Learning）
• 人工智慧（GPU AI）及邊緣智慧（Edge AI）（深度學習 / 自然語言 / 電腦視覺 / 多模態、生成式應用）
• 算法、模型優化

彌平嵌入式與人工智慧鴻溝

目前在學研及業界中，嵌入式系統和人工智慧相關領域各自都發展的不錯，但中間的鴻溝頗大，整合上難度很高，主要是由於玩大型AI的人不懂得如何從超高算力、超多記憶體、超複雜模型中壓到不到1MB模型大小、數百KB隨機處理記憶體及少的可憐不到千分之一甚至萬分之一的算力，去建構一個微型AI應用。而微處理器及單晶片工程師則不懂 AI 工作流程，更不理解這類模型如何部署及除錯，更沒有足夠的知識進行推論效能優化。

2012年因為卷積神經網路(CNN)興起，開啟新一波的AI浪潮，主要集中在以 GPU 為中心的大型AI應用。有別於大型應用，2019年非營利組織 tinyML 基金會[2]成立，積極整合能將微型智慧應用功耗控制在毫瓦(mW)等級的晶片(MCU/MPU/NPU)、算法、產品、服務等供應商，企圖打造一個離網微型智慧應用的生態系。這個組織沒有強制的規範約束，也沒有建立共同標準，但積極推動各項技術發展，也在全世界辦理許多類學術研討會及技術論壇。去年也曾在韓國有辦理過 tinyML Asia 2023[3]，台灣也有數個廠商參與，如 Himax, Skymizer 等，因此「tinyML」這個代名詞亦可等於 Embedded AI, Embedded Machine Learning, Micro AI, Tiny AI, MCU AI, MPU AI, AI on Device 等小型、微型智慧裝置及應用的代名詞。

為了彌平嵌入式系統和人工智慧兩端的距離及開發的困難，所以目前有很多 TinyML 系統、平台供應商提供從資料收集管理、模型選用建立、訓練參數調整到模型優化部署等全面性的解決方案，如 Edge Impulse、SensiML等，讓一些想專心特定領域應用的開發商及學術單位可以用較不費力的方式進入小型 AI 應用領域。

國內 TinyML 學術論文

目前 Embedded AI 及 TinyML 技術在台灣還算在起步階段，已經有很多大專院校的老師帶著學生在從事相關應用及學術論文發表，為了讓大家更了解目前台灣學界的研究成果，這裡幫大家盤點了最近五年（2020 ~ 2024）出版的相關論文並簡單分類，主要鎖定在可獨立離網進行 AI 推論的軟硬體及系統，即可在單板微電腦(SBC, 如樹莓派、Jetson Nano等)、微處理器(MPU, 如Arm Cortex-A系列等)及單晶片(MCU, 如Arm Cortex-M, RISC-V等)上運行的算法及應用。

主要資料來源為國家圖書館臺灣博碩士論文加值系統，查詢關鍵字為 "tinyml", "tiny machine learning", "微型機器學習"，查詢欄位為「關鍵字(Keyword, kw)」、「摘要(Abstract, ab)」及「標題(Title, ti)」，以下列指令進行複合式查詢。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti

經查找得到20筆論文，共13校、16系所、16位指導教授。完整論文清單如下所示，依學校系所、指導教授、出版進行排序，方便大家了解有哪些老師正在從事相關研究。

為了更擴大搜索範圍，把關鍵字再加上「嵌入式 and 機器學習」及「嵌入式 and 深度學習」，進行更深入檢索，如下指令。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti or ("嵌入式".kw,ab,ti and ("機器學習".kw,ab,ti or "深度學習".kw,ab,ti))

經查找共得365筆，扣除2019（含）之前論文後得229筆，共39校、104系所、155位指導教授。其中交通大學2020年論文併入陽明交通大學一併統計。

以下簡單列出超過三篇以上論文之指導教授名單，方便大家了解相關領域專家，合計79篇，佔近五年論文數量的34.5%。

陽交電子 郭峻因(9)、中正電機 黃崇勛(8)、中興電機 范志鵬(5)、中興電機 蔡耀全(5)、雲科電子 夏世昌(5)、北科機械 李志鴻(4)、北科電機 張陽郎(4)、雲科電子 許明華(4)、中正資工 林泰吉(4)、中山資工 蕭勝夫(4)、南台電子 李博明(3)、台大機械 李綱(3)、中央土木 林子軒(3)、中正資工 張榮貴(3)、雲科電機 紀光輝(3)、雲科電子 蘇慶龍(3)台大生機 郭彥甫(3)、北科自動 陳文輝(3)、大葉電機 陳雍宗(3)。

以下就依校系名稱、指導教授及出版年份（由新到舊）進行排序。

國際 TinyML 學術論文

如果想更了解國際上 TinyML 相關研究的朋友，個人經過歷年來的收集，目前已有整理了2003~2023年超過500篇的論文清單，有興趣的朋友可參考下列連結。如有不足的地方也請留言推薦。

https://hackmd.io/@OmniXRI-Jack/tinyML_papers

小結

此次篩選出的論文數量繁多，個人僅花費數日整理，無法一一詳讀、過濾、分類，亦有可能出現關連性不強論文，在此先說聲抱歉，待後續有時間再做更進一步分析，大家可自行點擊有興趣的論文連結了解更多資訊，也期待希望透過此次的概略性整理能收到拋磚引玉效果。

參考文獻

[1] 許哲豪，【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案
https://omnixri.blogspot.com/2024/05/vmaker-edge-ai-17-edge-ai.html

[2] tinyML Foundation
https://www.tinyml.org

[3] tinyML Asia 2023
https://www.tinyml.org/event/asia-2023/

延伸閱讀

[A] OmniXRI 學習資源 ─ TinyML
https://hackmd.io/@OmniXRI-Jack/series_articles#TinyMLMCU-AI系列