NVIDIA Jetson 平台部署相關筆記

AI / ML領域相關學習筆記入口頁面

基本環境設定

模型部署與加速

MLC: Machine Learning Compiler

機器學習編譯 （machine learning compilation， MLC） 是指，將機器學習演算法從開發階段，通過變換和優化演算法，使其變成部署狀態。

  • 開發形式

    • 是指我們在開發機器學習模型時使用的形式。 典型的開發形式包括用 PyTorch、TensorFlow 或 JAX 等通用框架編寫的模型描述，以及與之相關的權重。

  • 部署形式

    • 是指執行機器學習應用程式所需的形式。 它通常涉及機器學習模型的每個步驟的支撐代碼、管理資源（例如記憶體）的控制器，以及與應用程式開發環境的介面（例如用於 android 應用程式的 java API）。
Image Not Showing Possible Reasons
  • The image was uploaded to a note which you don't have access to
  • The note which the image was originally uploaded to has been deleted
Learn More →
Machine Learning Compiler

關於深度學習模型部屬理論的系統化課程
ps:課程開設者陳天奇是著名機器學習演算法 XGBoost、深度學習編譯器 TVM 等的作者

chenzomi12/DeepLearningSystem/推理系統課程

內有關於深度學習與推理系統的完整介紹，簡單明瞭，推薦!




設計推理系統的優化目標

  • 低延遲(Latency):滿足服務等級協議的延遲
  • 吞吐量(Throughputs):暴增負載的吞吐量需求
  • 高效率(Efficiency):高效率,低功耗使用GPU, CPU
  • 靈活性(Flexibility):支持多種框架,提供構建不同應用的靈活性
  • 擴展性(Scalability):擴展支持不斷增長的用戶或設備

概念澄清

  • 推理(Inference) 對於訓練(Training)而言的推理,即模型前向計算,也就是對於給出的輸入數據計算得到模型 的輸出結果;相對預測(Prediction)的推理,是統計學領域的範疇。
  • 部署(Deployment) . 訓練得到的模型主要目的還是為了更有效地解決實際中的問題,因此部署是一個非常重要的階 段。模型部署的課題也非常多,包括但不僅限於:移植、壓縮、加速等。
  • 服務化(Serving) 模型的部署方式是多樣的:封裝成一個SDK,集成到APP或者服務中;封裝成一個web服務,對 外暴露接口(HTTP(S),RPC等協議)。

2023/02。OLDPAN。AI部署之路 | 模型選型、本地部署、伺服器部署、模型轉換全棧打通

前顯易懂的快速入門文章、很多業界實務經驗，推薦搭配chenzomi12/DeepLearningSystem/推理系統課程一起看完可以快速系統性掌握業界概況

2021.09。ALISDAIR BROSHAR。Blue-Green, Rolling, and Canary: Continuous Deployments Explained



Select a repo