導入DataOps沒想像中這麼難：大型媒體公司經驗談 - 賴冠州(Edison Lai)

歡迎來到 DevOpsDay Taipei 2024 共筆

Image Not Showing Possible Reasons
  • The image file may be corrupted
  • The server hosting the image is unavailable
  • The image path is incorrect
  • The image format is not supported
Learn More →

共筆入口：https://hackmd.io/@DevOpsDay/2024
手機版請點選上方 按鈕展開議程列表。

》議程介紹

》填寫議程滿意度問卷｜回饋建言給辛苦的講者

共筆從這開始

ETL(Extract Transform Loading)
ELT(Extract Loading Transform)

DDT (Develop, Test , Deploy)

很好的data pipeline開發，測試，多個環境管理，CI/CD
dbt=SQL+Yaml+Jinja+Cli

DataOps 持續部署的Data pipeline， 測試，上版，監控

DataOps 是盡量讓 data consumer 和 data producers 不同的人更加貼近

The TVBS Way

用了越多aws工具，會變相建立 data brick 給不同的團隊降低效率

因此用了 3原則

  • 數據民主化
  • 降低技術隔閡 (舉例，不用scrum)
  • bring code to data 把資料一次性的抽出來，做轉換 放在 data warehouse

TVBS MDS

  • Bigquery 去撈 Google 生態的工具資料

EL-T

  • 架構單純易維護
  • 專注於高附加價值活動上
tags: DevOpsDays Taipei 2024

課後QA

  • 當工具切換時免不了需要做遷移schema等繁瑣工作，SQLGlot可以幫上不少忙。
  • 在TVBS上的straming ingest採用的是付費版的GA
  • 因為應用端對於資料即時性沒有這麼高的要求，所以依然採用dbt做batch transform而沒有使用Flink等streaming專用框架
Select a repo