# 【vMaker Edge AI專欄 #04】 從Embedded World 2023看Edge AI及TinyML最新發展趨勢
作者：Jack OmniXRI, 2023/04/17

相信大家最近應該都沈浸在ChatGPT, DALL-E2, Midjourney, Bard, GPT4等大型AI語言模型及生成式應用中，感受著AI帶來的新奇體驗，殊不知另一場精彩的嵌入式AI應用展覽及研討會也在德國紐倫堡順利落幕了，那就是2023年嵌入式世界展會[1] (2023/03/14 - 03/16, Embedded World Exhibition & Conference 2023,以下簡稱EW23)。這項展會為全球最大的嵌入式電子與工業電腦應用展，除了常見的工業電腦（含單板微電腦）、微控制器(含MPU/MCU/DSP)、數位看板、智慧物聯網(AIoT)、自動控制、交通、物流、安防、零售、醫療、 業等領域外，當然其中也包含了許多Edge AI及TinyML的應用。

在嵌入式系統中最重要的硬體核心就是微處理器(Micro Processing Unit, MPU)或微控制處理器(Micro Control Unit, MCU或俗稱單晶片)。前者主要應用於工業電腦、中高階單板微電腦（如樹莓派類），手機等，會運行特定作業系統（如Windows, Linux, macOS, Android等），而後者多半應用於中小型電子裝置，小到穿戴式裝置、白色家電，大到工業可程式控制器、伺服馬達控制器中都能見到其身影。這兩者最大差異是後者把中央處理器(CPU), 靜態記憶體(SRAM), 快閃記憶體(NOR Flash), 輸出入控制(GPIO), 通訊介面（如UART, I2C, SPI等）都整合在同一顆晶片中，而前者因需執行較大的程式及較複雜的計算，所以通常會把記憶體(DRAM)和快閃記憶體(NAND/NOR Flash)排除在外，而將重點放在更強大的運算力上。

此次EW23推出了不少MPU和MCU及對應的開發板，除一般的計算、控制、通訊功能外，亦開始向Edge AI及TinyML移動。其中有幾個值得關注的趨勢：

**1. 晶片內嵌神經網路處理器(MPU/MCU + NPU)
2. RISC-V晶片及開發板成長迅速
3. 系統模組板化(System on Module, SoM)
4. Edge AI及TinyML創新應用**

以下就針對這幾項分別為大家介紹幾個亮點產品，希望能讓大家更了解最新發展趨勢。

## 1. 晶片內嵌神經網路處理器(MPU/MCU + NPU)

關於MPU及MCU為什麼要加入神經網路處理器(Neural Network Procssing Unit, NPU)或稱深度學習加速器(Deep Learning Accelerator, DLA)及加入後有什麼好處，可參考“MCU攜手NPU讓tinyML邁向新里程碑”[2]，這裡就不多作介紹了。本次EW23亮相了許多傳說中的晶片，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. Aspinity, AML100, 類比機器學習晶片，常時(Always on)工作電流小於20uA，可適用類比麥克風輸入作為智慧聲音辨識（如玻璃破碎聲）。有配套AB2 AML100 Application Board，另可搭配Renesas EK-RA4M3 Quick-Connect IoT開發板。[3]
2. Hailo, Hailo-8, AI專用加速器，INT8下可達26TOPS。[4]
3. 奇景光電(Himax), WiseEye WE-2, Arm Cortex-M55 (MCU) + Ethos U55(NPU)組合，細部規格未公開，MCU及NPU部份可參考Arm官方資料。[5]
4. 瑞薩(Renesas)，
* RA8系列, 世界第一款亮相的Arm Cortex-M85晶片，細部規格不明，MCU部份可參考Arm官方資料。
* RA4E2/RA6E2系列, Cortex-M33 @100/200MHz, 128KB/256KB Porgram Flash, 4KB Data Flash, 40KB SRAM。[6]
5. 芯科(Silicon Lab), EFR32xG24, Arm Cortex-M33 @78MHz, 1536KB Flash, 256KB SRAM,具有NPU（規格不明），有配套開發板xG24-DK2601。[7]
6. 意法半導體(ST),
* STM32N6, 具有NPU，首次亮相，硬體規格不明，但就過往釋出的新聞稿規格說明來看，猜測很有可能是Arm M55+U55的組合。
* STM32H5, Arm Cortex-M33 @250MHz, 2MB Flash, 640KB SRAM, 375DMIPS,有配套開發板NUCLEO-H563ZI, NUCLEO-H503RB。[8]
* STM32MP13x, Arm Cortex-A7 @1GHz MPU, Ethernet。[9]
7. 德州儀器(TI),多款Arm Based MPU+DLA[10]
* AM62A, Arm Cortex-A53 @1.4GHz x4, Cortex-R5F x2, C7x DLA 2TOPS。另有配套SK-AM62A-LP Start Kit開發板。
* AM68A, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x4, C7x DLA 8TOPS。另有配套SK-AM68 Start Kit開發板
* AM69A, Arm Cortex-A72 @2.0GHz x8, Cortex-R5F x4, C7x DLA 32TOPS。另有配套SK-AM69 Start Kit開發板。
* TDA4VM, Arm Cortex-A72 @2.0GHz x2, Cortex-R5F x6, C7x x2 + C66x x2 DLA 8TOPS。另有配套SK-TDA4VM開發板。

補充說明：Arm Cortex-A系列為MPU，Cortex-M系列為MCU，其中Cortex-M33為ArmV8-M指令集，Cortex-M85為ArmV8.1-M指令集，對AI加速有更多的支持。TI C7x為數位信號處理器(DSP)亦可作為DLA使用。TOPS為每秒一兆($10^{12}$)次運算。

Fig. 1 EW23展會MPU/MCU+NPU相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[3~11]）

## 2. RISC-V晶片及開發板成長迅速

最近幾年由於晶片供貨一直不穩定，相關矽智財(IP)授權費用增加及客製化需求越來越高，所以導致開源的RISC-V CPU指令集晶片倍受重視，市場成長迅速，陸續有廠商投入相關晶片開發，尤其是大陸廠商，從去年開始就有許多晶片完成上市。目前RISC-V除標準指令集外，亦有新增了單指令多資料流(SIMD)及向量(Vector)指令集(P及V Extension)，更能適用AI加速計算，當然亦保留各廠商自行加入的客製化指令集來加強特定需求的功能。此次EW23也有不少廠商展出其晶片及開發板，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. Codasip, L31/L31F, 32bit RISC-V CPU (RV32IMCB/RV32IMFCB), 可支援TensorFlow Lite for Microcontroller(TFLite-Micro)及IAR開發工具。[12]
2. GreenWaves, GAP9, 9+1 Cores RISC-V 超低功耗小型感測器用AI加速運算器，15.6 GOPS DSP, 32.2 GMACS。[13]
3. Renesas，主要採用台灣知名RISC-V IP供應商晶心科技(Andes)的核心。
* R9A02G020, 32bit MCU, AndesCore-N22 @32MHz, 48KB Flash, 16KB SRAM, 4KB ECC，有配套R9A02G020 ASSP EASY Motor COntrol Kit。[14]
* RZ/Five, 64bit MPU, AndesCore AX45MP(with SIMD/FPU) @1.0GHz, L2 Cash 256KB, SRAM 128KB，有配套RZ/Five EVB。[15]
4. 華碩(Asus)IoT, Tinker V 開發板, 使用Renesas RZ/Five晶片，板上另配有1GB DDR4, 16GB eMMC (Flash)。[16]

補充說明：GOPS為每秒十億($10^9$) 次運算，而GMACS為每秒十億($10^9$) 乘加運算。

Fig. 2 EW23展會RISC-V相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[12~16]）

## 3. 系統模組板化(System on Module, SoM)

以往的單板微電腦（如樹莓派之類）多半是將主晶片置於開發板上再配置各種週邊擴充界面，如GPIO, UART, SPI, I2C, USB, CSI, DSI, EtherNet等，設計完成開始生產後就無法變更。當遇到需要不同尺寸、不同數量擴充界面，甚至彈性電源管理系統時，就要開發多種不同的開發板，對於製造端會產生很多麻煩及庫存。於是把核心晶片作成卡片型式的系統模組板(SoM)，再透過開放或封閉式卡槽介面連接擴充底板的作法便開始流行起來。這樣作有較多的彈性及互換性，同時解決高密度、高複雜度的多層板設計問題，讓一般使用者都有機會自行設計客製化擴充底板，甚至可設計特殊底板同時插多片系統模組板作叢集電腦。常見的樹莓派Pi 4的計算模組(Compute Module) CM4，Nvidia Jetson系列也是採用系統模組板加擴充底板方式完成。此次EW23亦有多款系統模組板被推出，以下就簡單依廠商名稱英文排序介紹其重點規格：

1. 研華(Advantech), VEGA-X110, 採用行動PCI Express模組(Mobile PCI Express Module, MXM)介面，主要應用於筆記型電腦。主晶片為Inte GPU Arc A370M，Xe-Core x8，1550MHz, 4GB GDDR6，可搭配Intel OpenVINO進行推論加速工作。[17]
2. Arduino, Portenta C33, 使用Renesas R7FA6M5BH2CBG MCU(Arm Cortex-M33 @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM) + ESP32-C3-MINI-1U(WiFi) 雙晶片，採2.54mm雙排針孔位(14pin x2)，相容於Portenta H7開發板，可使用排針或直接以郵票孔焊在另一塊PCB板上。[18]
3. Edge Labs, 由einfochips, 艾睿(Arrow)和高通(Qualcomm)合作共同成立，推出 Aikri-42X-10LS，主要使用高通QRB4210晶片，內含 64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610,板上採自定義四組高密度(90 pin)PCB板用連接器。[19]
4. MicroSys, miriac MPX-32G399A, 使用NXP S32G399A晶片，內含Arm Cortex-A53 x8, Cortex-M7 x4, 4GB LPDDR4, 20MB SRAM, 64MB QSPI Flash, eMMC 32GB, 採自定義314 pin edge connector。[20]
5. SECO, Maury，採用智慧行動架構(Smart Mobility Architecture, SMARC)介面，主要應用於行動裝置。主晶片使用NXP i.MX 93, Arm Cortex-A55 @1.7GHz x2, Cortex-M33 @250MHz x1, Ethos U65 NPU x1，很適合作為AI應用。[21]
6. Variscite, 共推出二款SOM，採用自定的板卡200pin介面，類似記憶模組的SO DIMM接腳，自家所有SOM接腳皆可相容。[22]
* VAR-SOM-MX93，使用NXP i.MX 93。
* VAR-SOM-AM62，使用TI AM625。

Fig. 3 EW23展會SoM相關產品。(OmniXRI整理製作, 2023/4/17)(影像來源：[17~22]）

## 4. Edge AI及TinyML創新應用

此次EW23有許多精彩的Edge AI及TinyML的應用，前者多半用於影像辨識相關應用，而後者多半用於智慧感測器。以下就簡單列舉幾個產品提供大家參考。

1. 凌華(Adlink), AI Camera Dev Kit, 整合8MP攝影機、Nvidia Jetson Nana, RTC電池，很適合做為概念驗證(PoC)使用，可用於影像辨識、物件偵測、姿態偵測等應用。[23]
2. 高通(Qualcomm), Robotics RB2 Development Kit(QRB4210), 主要使用高通QRB4210晶片，內含 64bit CPU Kyro @2.0GHz x1, Kyro @1.8GHz x1, Hexagon DSP, 3GB LPDDR4, 32GB eMMC(Flash), Adreno GPU 610, 其開發套件已整合攝影機，很適合用於掃地機器人、服務型機器人、智慧攝影機等AI影像應用。[24]
3. Useful Sensors, The Person Sensor[25],很迷你的TinyML智慧視覺感測器，主要使用奇景(Himax) HX6537-A (DSP based)，可用於人員追蹤，此產品已於CES2023展出過，可參考[26]說明，這裡就不多作介紹。
4. Reloc, BrickML,主要功能用於測量和監視機器健康狀況，是和Edge Impulse合作的作品，亦為今年TinyML Summit得獎作品。主要使用ARM Cortex-M33 (with FPU) @200MHz, 2MB Code Flash, 8KB Data Flash, 512KB SRAM, 128Mbit QSPI Flash(on board)。該產品整合麥克風、九軸運動感測器、溫濕度及電流感測器，另有搭配BLE 5.1，很適合遠端無線監控設備狀況，如馬達、水泵等工業設備。[27]

Fig. 4 EW23展會Edge AI & TinyML相關創新應用。(OmniXRI整理製作, 2023/4/17)(影像來源：[23~27]）

## 小結

從此次EW23的展出充份讓我們看到小型AI的未來性，隨著電子技術不斷進步，小尺寸、高算力、豐富週邊及多樣通訊能力的晶片和開發板越來越容易取得，且價格也越來越平價，開發工具也越來越多選擇，對於開發者來說更容易開發小型Edge AI電腦視覺及常時開啟(Always On)的TinyML智慧感測器應用，期待在大家的創意下能有更多有趣和精彩的作品誕生。

## 參考文獻

[1] Embedded World Exhibition & Conference
https://www.embedded-world.de/en
[2] 許哲豪，“MCU攜手NPU讓tinyML邁向新里程碑” https://omnixri.blogspot.com/2022/10/mcunputinyml.html
[3] Aspinity, Embedded World 2023 (AB2-AML100 Application Board)
https://www.aspinity.com/Aspinity-EW-2023
[4] Hailo, Hailo-8, AI Processor
https://hailo.ai/products/hailo-8/
[5] Himax, 奇景於 Embedded World 2023 展出新一代 WiseEye 智慧影像感測終端 AI 優勢應用
https://www.himax.com.tw/wp-content/uploads/2023/03/20230313-Embedded-World-2023-PR-Final-cht.pdf
[6] Renesas, RA Family of Arm® Cortex®-M based MCUs
https://www.renesas.com/eu/en/products/microcontrollers-microprocessors/ra-cortex-m-mcus
[7] Silicon Labs, xG24-DK2601B EFR32xG24 Dev Kit
https://www.silabs.com/development-tools/wireless/efr32xg24-dev-kit
[8] ST, STM32H5 MCU Series
https://www.st.com/content/st_com/en/campaigns/STM32H5-most-powerful-arm-cortex-m33-mcus.html
[9] ST, STM32MP1 Series
https://www.st.com/en/microcontrollers-microprocessors/stm32mp1-series.html
[10] TI, Arm-based processors (AM62A/AM68A/AM69A/TDA4x)
https://www.ti.com/microcontrollers-mcus-processors/arm-based-processors/overview.html
[11] EETimes, Sally Ward-Foxton, "TinyML Comes to Embedded World 2023" https://www.eetimes.com/tinyml-comes-to-embedded-world-2023/
[12] Codasip, L31 & L31F
https://codasip.com/products/l31-l31f/
[13] GreenWaves, GAP9 Processor for hearables and smart sensors
https://greenwaves-technologies.com/greenwaves-events/
[14] Renesas, R9A02G020 ASSP EASY MCU for Motor Control Based on RISC-V
https://www.renesas.com/us/en/products/microcontrollers-microprocessors/risc-v/r9a02g020-assp-easy-mcu-motor-control-based-risc-v
[15] Renesas, RZ/Five General-purpose Microprocessors with RISC-V CPU Core
https://www.renesas.com/in/en/products/microcontrollers-microprocessors/rz-mpus/rzfive-general-purpose-microprocessors-risc-v-cpu-core-andes-ax45mp-single-10-ghz-2ch-gigabit-ethernet
[16] 華碩(Auss) IoT, Tinker V SBC
https://tinker-board.asus.com/product/tinker-v.html
[17] 研華(Advantech),Advantech Unveils its First Embedded GPU Cards with Intel® Arc™ Graphics at Embedded World 2023
https://www.advantech.com/en/resources/news/advantech-unveils-its-first-embedded-gpu-cards-with-intel%C2%AE-arc%E2%84%A2-graphics-at-embedded-world-2023
[18] Arduino, Protenta C33
https://docs.arduino.cc/hardware/portenta-c33
[19] Edge Labs, eInfochips Aikri-42X-10LS
https://www.arrow.com/en/campaigns/edgelabs
[20] MicroSys, miriac MPX-S32G399A
https://www.microsys.de/en/products/system-on-modules/arm-architecture-soms/miriac-mpx-s32g399a/
[21] SECO, EW 2023: SECO presents MAURY, one of the first SMARC modules based on the new NXP i.MX 93 applications processor
https://www.seco.com/blog/maury-smarc-module-based-on-nxp-i-mx-93-processors/
[22] Variscite, Variscite Presents Two New System on Modules at Embedded World 2023
https://www.embedded.com/variscite-presents-two-new-system-on-modules-at-embedded-world-2023/
[23] 凌華（Adlink), ADLINK wins Best in Show Award at Embedded World 2023 for Innovative AI Camera Dev Kit
https://www.adlinktech.com/en/news/ai-camera-dev-kit-wins-embedded-world-best-in-show-award-2023
[24] Qualcomm, Robotics RB2 Platform
https://www.qualcomm.com/products/internet-of-things/industrial/industrial-automation/qualcomm-robotics-rb2-platform
[25] Usefulsensors, The Person Sensor
https://usefulsensors.com/person-sensor/
[26] 許哲豪，【vMaker Edge AI專欄 #01】 從CES 2023 看Edge AI及TinyML最新發展趨勢
https://omnixri.blogspot.com/2023/01/vmaker-edge-ai-01-ces-2023-edge-aitinyml.html
[27] Reloc, BrickML
https://edgeimpulse.com/reference-designs/brickml

## 延伸閱讀
[A] 許哲豪，“有了TinyML加持MCU也能開始玩電腦視覺了” https://omnixri.blogspot.com/2022/12/tinymlmcu.html
[B] 許哲豪，“【vMaker Edge AI專欄 #03】 AI晶片發展歷史及最新趨勢”
https://omnixri.blogspot.com/2023/03/vmaker-edge-ai-03-ai.html

**本文同步發表在[【台灣自造者 vMaker】](https://vmaker.tw/)**

---
OmniXRI 整理製作，歡迎點贊、收藏、訂閱、留言、分享，

###### tags: `vMaker` `Edge AI`