## Edge AI Edge AI(邊緣人工智慧)是把人工智慧模型或演算法部署在「網路邊緣」的裝置或設備上,在靠近資料產生來源處進行推理(inference)或分析,而不是把所有資料都傳送回雲端或遠端伺服器處理。即邊緣設備原有功能加上AI Inference。現今被廣泛應用於各個產業,eg. 門禁控管的安全警報。 #### 流程 1. 資料收集:透過IoT 裝置搜集資料。 2. 本地端資料處理(Edge Preprocessing):過濾資料,舉例來說,像是影像裁切或是標準化,減少傳輸量,也可以保護隱私。 3. 模型訓練:多數情況,模型的訓練需要大量資料與運算力,因此通常在雲端或資料中心完成。訓練好的模型會被優化後,再部署到邊緣裝置。 4. 反饋與更新:推論結果或摘要數據可以回傳雲端,用於進一步分析或改善模型。 #### 優點 - 智能性:因邊緣設備具有人工智慧,能夠針對多元輸入進行推理(inference)或分析,不僅是搜集資料。 - 即時反應:資料在本地處理,不必經過網路傳輸。 - 持續改進:透過模型的持續訓練,發現推論錯誤或是資料有更新時,可以直接反饋回雲端重新訓練並更新模型,讓系統越來越精準。 #### 限制 - 計算以及存取限制:邊緣設備通常資源有限,不容易運行很大的模型。 - 資料同步問題:多個邊緣設備之間如何協同,是設計難點。 - 部署和管理複雜性:如何把新的或改進的模型部署到許多邊緣設備上。 - 安全性:雖然資料可在本地處理,但設備本身可能遭受攻擊或被入侵。 - 倫理和法律問題:例如監控攝影機帶來的隱私權爭議。 ### 雲端運算(Cloud Computing) 透過網路,按需提供運算資源和服務,user 不需要自己購買和維護硬體設備。簡單來說,就是「把運算和儲存搬到網路上」,你用多少就付多少,像水電一樣隨開隨用。 對於user 來說,這些服務的網路元素是看不見的,如同在雲端中被覆蓋。 ### 邊緣運算(Edge Computing) 邊緣運算指的是盡量靠近資料源做運算,資料不需要傳送到雲端伺服器。通常負責即時反應與本地分析。 #### 雲端運算(Cloud Computing)vs. 邊緣運算(Edge Computing) ||雲端運算(Cloud Computing)|邊緣運算(Edge Computing)| |:--:|:--:|:--:| |網路需求|高度依賴網路連線|減少頻寬,節省網路流量。網路不穩仍可以運作,可靠性佳| |延遲|資料需傳到雲端再處理,延遲較高|就近處理,延遲低,適合即時反應| |安全性與隱私問題|敏感資料需上傳雲端,風險較高|資料掌握在本地端,外露風險低| |Vendor Lock-in(廠商依賴)|有|相對少| |系統整合|困難|直接讀取訊號,整合容易| ### Nvidia Jetson NVIDIA Jetson 是NVIDIA 推出的一系列邊緣AI 運算平台,專門為邊緣運算(Edge Computing)和人工智慧應用設計。特色為小巧低功耗的量產模組和開發套件,還有提供全面的AI 軟體,可實現高效運算。 #### Jetson Nano Nvidia Jetson 系列的初階款。 ### Jetson Nano Lab 實驗目的:將電腦連接與Jetson Nano 同一個wifi 網路,可以用電腦遠端連線到Jetson Nano 上的 JupyterLab。 #### 作業系統安裝 1. 下載作業系統([連結](https://developer.nvidia.com/jetson-nano-sd-card-image)) 2. 將SD 卡插入電腦 3. 下載Etcher 寫入軟體([Macbook Pro M1 適用連結](https://etcher.balena.io/)),進行寫入 4. 將SD 卡插入Jetson Nano 5. 準備開機