owned this note   changed a year ago  
Linked with GitHub

如何透過Azure快速打造MLOPS - 謝得威

歡迎來到 DevOpsDay Taipei 2024 共筆

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

共筆入口：https://hackmd.io/@DevOpsDay/2024
手機版請點選上方 按鈕展開議程列表。

》議程介紹

》填寫議程滿意度問卷｜回饋建言給辛苦的講者

共筆從這開始

Azure MLOps 架構

  • Dev
  • Data Ops = MLOps
  • Model

信義房屋 模型案例

  • 客戶
    • 客戶基本屬性
    • 客戶購買意向
    • 客戶線上歷程
    • 仲介帶看履歷
    • 仲介基本屬性
  • 物件
    • 物件基本屬性
    • 物件環境屬性

物件是會變動的，隨著事件不同影響結果

產出規模

  • 100 億比請求
  • 帶看下斡旋比率提高 30 %
  • 最終成交轉換率更高出 20%

模型開發流程

  • MLOps 專案啟動
    • BU > DS > DE
  • 數據流建置
    • IT > 特徵工程 > DS
  • 模型上線
  • DS
    • 數據串接
    • 演算挑選
    • 模型訓練評估
    • 模型註冊
  • DE
    • DevOps

數據流建置

模型上線

架構

MLOps 四個情境

  • 模型訓練與管理 ( 1 2 )
    • 個人模型紀錄，未經由使用者體驗。
  • 模型佈署 ( 3 )
    • 上線環境，提供給使用者情境
  • 模型監控 ( 4 )
    • 改進定期更新

模型訓練

  • 資料探索、實驗設計、模型優化

模型管理

  • 模型版本管理、實驗記錄、訓練資料集管理

模型佈署

  • 模型定期更新、自動化佈署

模型監控

工具

  • Databricks ( 模型訓練 )
    • Warehouse
    • DataOps
  • mlflow ( 模型管理 )
    • ModelOps
  • Azure Function App ( 模型佈署 )
    • Application insight
    • Deploy Templte
  • Power BI ( 模型監控 )
    • Data Drift
    • Model Drift

mlflow → ( 透過 App Configuration Feature Toggle ) 來避免佈署不合格的模型

  • 單一平台完成 DataOps ModelOps DevOps
  • Delta Table 具備版本控制，可回朔過去資料狀態
  • 內建 mlfow 視覺化界面
  • 可結合 Azure DevOps，達成開發，測試、生產環境的自動佈署
  • 免去維運的 Spark 集套件版本的困擾
  • 資料表資安控管提升

模型管理

  • 透過可是化界面快速比較實驗結果

合格模型

  • 批次推論
    • mlflow → app → button → web → model ->
  • 即時推論
    • mlfow → app → button → web →
    • vscode → yaml model → Jmeter →

模型定期更新及佈署自動化

  • 透過定期排程或監控 threshold，觸發模型自動訓練
  • 「新模型出現」這個事件會觸發 Azure

模型商業及穩定度監控訓練

  • 監控模型的涵蓋度
  • 資料特徵篩選
  • API 反應時間、error

雲端 MLOps 情境評估

成本

短期低、長期高

模型的佈署只是開始，真正的價值在於持續的訓練與改進。 - GPT 4o

聊天區

tags: DevOpsDays Taipei 2024
Select a repo