Try   HackMD

使 AI 硬體潛力達到最大化的演算法設計

活動概況

科技界的快速演變令人瞠目結舌。過去十年，我們見證從手機應用、巨量資料 (Big Data)，和Web 2.0 開發框架的變遷，如 Ruby on Rails 及其衍生產品。技術從 Hadoop 到 Spark 的轉變，雲端容器技術和 AI 處理框架 (如Tensorflow 和 PyTorch) 的興起，都顯示了這一變化。昔日的 OpenCV、libsvm, word2vec, LSTM 和 GAN 等技術，如今已由 LLM / StableDiffusion 等技術所替代。

本演講由 Google AI 團隊的底層技術開發者主講，探討如何在技術迅速迭代的時代中，建立並保持關鍵技能。我們將深入分析現代演算法，探討如何與最新硬體技術同步，並兼顧理論與應用，以最大化 AI 時代的硬體利益。除了介紹核心概念，講者還將透過實例展示新世代軟體開發的機遇與挑戰。

主講人簡介

Felix Chern 是 Google Research 的資深工程師，專注於開發 Google Tensor Processing Unit (TPU) 編譯器和設計創新演算法。擁有台大機械工程學士學位的他，自學電腦科學，專精於底層技術。在Google Research這個充滿頂尖電腦科學碩博士的環境中，Felix 憑藉對演算法和現代計算硬體架構的深入了解，成為該領域的佼佼者。他不僅在 Google 對人工智慧技術的尖端發展做出亮眼的研究貢獻，也熱衷於閒暇時間分享資訊技術的最新動態，並熱心協助志同道合的朋友深入電腦科學領域。

時程規劃

18:30 - 19:00 : 歡迎進入會場，提前與講者進行熱絡的交流討論
19:00 - 20:00: Felix 開講
20:00 - 21:00 : 座談問答，與談人: Felix 和 jserv

達到硬體極限的演算法設計

slides

  1. 如果有 data dependency，這樣 Roofline Model 是否準確？
    在計算時會將有 sequential depenency 的運算算作一個 block，以 block 為單位做運算，最後在計算到整體

問答

  1. 謝謝今天的分享，請問非資工系到 google 的心路歷程？非資工的理工人進 google 的標準是什麼？

透過自學頂尖大學的線上課程，也可以鍛鍊好基本。
畢竟學校老師有時候也教得沒有那麼好，而會開線上課程的通常都是教得好的，線上課程學著學著基礎功也可以超越本科出生的

  1. 想基於前面同學對於計算 roofline 的運算子顆粒度的問題作延伸。如果今天有一些可以被融合的運算子，像是 ReLU 或 GeLU 之類的，在計算 roofline 的時候一樣會被切分開來計算嗎？還是會以融合後的運算量來計算 arithmetic intensity?

現在新版的 compiler 都可以融合進到 kernel 中做計算

  1. P21 什麼叫越好的硬體喪失的機會成本越大在 x 越小的時候

  2. 想請問 Felix Cern ，關於TPU 團隊現在有什麼策略來超過 nvidia 硬體帶來的效能

based on 硬體團隊考量

  1. 想請問就剛剛說到的 convex optimization 當中, 有什麼樣的實例是能確實運用到硬體紅利的案例, 還有如何將例如 scheduling 的問題轉化為一個矩陣問題來使演算法設計吃到硬體紅利？

有 2022 paper : Forget the past , Just Sample. 可以 follow，用多個 vector 來作微分的分析就可以算得準很多

  1. 想了解當初是如何到美國求職的過程，謝謝

有身份所以相對容易很多

  1. 台灣的軟體產業還有機會嗎 還是已經落後世界太多只能做半導體
Last changed by 
 
sysprog
System Software Programming
994
Published on HackMD