###### tags: `NTU` # Seminar 心得 ## 9/23 1950 數位導向 mathematic-inspired - bit turing machine von neumann arch shenom information theory transistor 運算平台的起源 0 1 邏輯閘 計算功能 1822 機械式開關 charles babbage diff machine 1904 真空管 1946 eniac 1947 transistor university of manchester 1958 IC appollo guidance 摩爾定律推動IC半導體產業發展 讓計算成本價格下降 使計算普及 同樣一碗白飯的價錢隨著時間能買到更多的TRANSISTOR CPU CISC 8086 -> 64AMD CPU RISC arm biglittle armv8 low power GPU 1994 PS1 2007 nvidia cuda shader AI accelerator google tpu hetogeneous integration - chiplet 運算單元用7nm IO用14nm - dram in package RAM 傳輸效率更好 - HBM NVIDIA 6g 100g~1t bps 主體使用機器從人 變機器 需求變高 滿足自駕車 聯網裝置需求 更高的頻寬 更廣的覆蓋率 LEO 低軌道衛星通訊 反應速度更快 但須上千顆衛星讓覆蓋度達100% 低軌衛星通訊的啟動關鍵: 可重複使用火箭 SPACEX FALCON9 一次送60顆衛星 壽命3,4年 2010 AI biology-inspired IC 運算促成 AI 實用化 2012 alexnet traning 1 exa-flops 2gp 當時超級電腦 兩百多年 用六天訓練完 al acceletrator architecture (von neuman) - fixed systolic array e.g. google tpu - flexible systolic array AI ARCH (non von-neumann arch) AI 訓練運算需求遽增 參數每年成長約十倍 訓練一個MODEL要百萬美金以上 算力 效率 boundary 離大腦還距離很遠 25w 860億神經元 AI加速IC設計發展 physics-inspired 2030 - qbit ## 10/1 secure and formally verified hypervisor covid19 demand scalability VM hypervisor hypervisor complexity = hypervisor bugs = security vulnerbility hypervisor exploit formal verification simplisitc system limited function sel4 數k code commidity hyperviosr M code ### microverification system -> small cores confidentilally intergraty ### Retrofitting KVM end-to-end approach KCore: full handware access leverage nested page table KServ: restricted hardare access exception level el2 ### CPU protection VCPU trap npt faults to itself KCore saves ... restore VM state from memory ### verifiy KVM layered verfication apporach ### multoprocess setting use lock to protect page table ### - KBM CONfidentiality intergerirt - layer hardware model -> verfiction for realistic mp (use coq) 這一次的演講請到了系上的黎士瑋教授，黎教授自哥倫比亞大學畢業後，今年加入台大資工成為系上最年輕的教授，可以說是系上的新生代，這次演講的題目是一個安全且經過正規驗證的虛擬機器監視器，自從武漢肺炎之後全球對於遠距的需求急增，同時也加劇對雲端運算的需求，這時候作為一個基礎建設的虛擬機器軟體就很重要了，如今虛擬機器程式碼動輒數萬行，讓檢驗的複雜度大大提高，假設其中出現 bug 就有可能會出現安全漏洞，於是教授提到其解決的方法，包括像是階層式驗證確保機密性與完整性，並使用 coq 這個正規化驗證軟體保證其安全性。 ## 10/8 立即示警與通報 1. 示警家人 2. 通報119 告知火災地址 狀況 火勢 有無人受困 樓層 -> 車輛 火災初期滅火 1. 火源初萌芽 手提式滅火器 有機會將損失降到最低 2. 安全退路 3. **油鍋起火** 不能用水撲滅 水接觸熱油 氣化成1700倍的水蒸氣 -> 火海 4. 拉瞄壓 - 拉開插銷 - 瞄準火源根部 - 壓握把， 5. 室內消防栓 按警鈴 開消防栓箱 拉水帶 拿瞄子 轉開水閥出水 火災逃生避難原則 1. 不可為了收拾財物影響逃生 2. 不可搭電梯 火場容易發生斷電情形 很有可能因為斷電而使自己受困在電梯裡面 3. 不可躲在浴室 - 門和天花板通常是塑膠做的 易\融化變形 浴室門下方有通風口，無法有效隔絕濃煙 4. 不可用塑膠套頭 5. 遇高溫會融化 而黏在皮膚上 (忙煙面罩) 6. 不花時間找濕毛巾 無法阻絕一氧化碳等有害氣體 7. 原則 往 避難層 一樓逃生 千萬不可往上逃生 因為濃煙會往上 人往上是跑不贏煙的 錢櫃 各樓層的排煙閘門沒有動作，濃煙沒有筆直往上排煙，只能從左右窗戶排， 為了安裝一個電梯，而關閉消防裝置 沒有動作 這一次演講請到的是來自德安消防公司的葉俶題經理，葉經理新北市消防設備師公會的成員，專長是消防、水電和工業配線，可以說是台灣消防的專家，今天演講的題目是在實驗室場所的消防安全宣導。首先，發生火災若一旦發生，第一件事就是要立即示警和通報，包括示警周圍的人，通報119並清楚告知火災地點，和其狀況、火勢、是否有無受困及其樓層。若在第一時間無法及時滅火，則是要遵守下列幾個火災逃生避難原則，包括不可為了收拾財物影響逃生，不可搭電梯，因為火場容易發生斷電情形，很有可能因為斷電而使自己受困在電梯裡面，而最重要的則是往避難層也就是一樓逃生，千萬不可往上逃生，因為濃煙會往上，人往上是跑不贏煙的。這次演講幫助我們理解發生火災時要注意的事項，對我受益良多。 ## 10/22 AI becomes the main force to push semiconductor AR/VR 市場規模沒那麼大 AI 半導體 25%成長率，2021 佔所有晶片6%，2025 預計到10% one year improvement of computer performance downs to 3% 2015 end of moore's law alexnet -> vgg model 太大 運算需求 - standalone - DSP - heterogenous multi-core - companion - two chips in the system - edge server - edge cloud 最終都會卡在bus 95%的時間在資料搬運 居住在南港，工作在內湖，上下班都卡在橋上 分流上班 更大的流量 解決方案 customized system software - irregular workload - 同步非同步 - piped hardware engines - software pipelining - fragmented memory spaces 最大成本 software porting system software the first anchors of the changing hw and sw 在設計硬體的時候，就提供軟體的觀點，改變策略 model 是 32 bit -> 實際計算時候 8 bit (Quantization) 好的 data mengament, instruction schd. ONNC 4.8 spped up by elimination unessentail data movement and execution Precision trade off Save SoC SRAM cost lot裝置sram容量很小 藉由 locatily 節省記憶體 ONNC 不需要 interpreter，省掉很多記憶體 比起 tflm 效能更快 最快到5倍速度提升 重要的layer operator 放到良率比較高的 sram 上 良率比較低的 sram 做不重要的運算 ## 10/29 車載 演算法開發團隊 feature algorithm 縫合影像 手錶 紀錄運動的特徵 在做什麼運動 車載系統 導航機 戶外運動 健身 血氧 船載系統 暗礁 地形 風險 聲納魚群 vision: 車載: ADAS 前方碰撞預警 健身: 自動指針調整 船載: 環繞 top-view sensor: 戶外: 手勢便是 健身: 重訓 做了幾組set 演算法開發流程 需求 -> 分析 -> 設計 -> 實作 -> 驗證 -> 維護 資料 -> model training ### 拼接 top view 鳥瞰 需求 硬體限制 空拍機的視野 上視圖 警示 對比車用 範圍更大 五米 吃水深度 跟水的深度 六個相機 魚眼相機 扭曲 正常 模糊化 上視圖 1. 反扭曲轉換 相機內部參數 外部參數 矩陣運算 旋轉 位移 兩個自由度 similarity affine homography 影像拼接 模糊 lookup table online 時不做轉換 直接查表 ### 手錶 手勢辨識 -> RNN 現在做幾組 健身類型 > RNN CNN 參考歷史行為 RNN RNN 變形 LSTM GRU DATA LABELING 用 APPLE WATCH 當作範例 WORKOUT- Rep counting 資料標記 很難取得資料 品質高的資料 嵌入式運算資源受限 處理時間很長 andriod -> nnapi arm armnn cmsis-nn ## 11/5 pchome 最早的電商 契機: 最好的時刻 台積電 獨角獸 網路 軟體 ### industry trend changes in the post-covid-19 era - zero contact businesses - remote work - open up the global talent pool - global culture, mindset, real estate ## AI Market Growth by HW/SW/Service Service 的毛利是最的 軟體可能免費，但服務永遠會收費 網路產業銷到全世界 -> 沒有產品經理 ai market share - law template - 台積電 聯發科 鴻海 占全國研發經費90% 全世界前100研發經費投入 芬蘭問題 台灣問題 中美問題 top 20 internet companines 有中美主導 china faces growths with high wind unicorns to lead post-covid world 新經濟 未來的領先者 這世界先給你機會 壤你實現他 - US 288 - China 133 NEA: Line (Naver) + Yahoo Japan (SoftBank) SEA: 印尼版 Uber model 海島型 製造業 服務一個大客戶就好 面向國際 服務型經濟 服務全世界 Taiwan Unicorns 91app gogoro appier 台灣數位新創一年獲200億投資 機會 AIot 帶來新硬體 半導體需求 - AI, 5G, CloudEdge 電動車 低軌道衛星 中美競爭 供應練分流 - 紅色供應鏈受限 東亞 東南亞數位經濟高速成長 - 不含中國 8億人口市場 台灣新創 以硬帶軟: 規模化 國際化 ## 11/12 連發創新基地 在台大校園內有建築物 6 paper in neurips 2021 都是跟其他單位合作的成果 英國劍橋 美國cornell 不知道會不會做得出來 題目 兩天內要讀完一百篇 paper resarch intern phd neurips 第二作者 industrial research center 解決實際的問題，不再只是紙上談兵，自己創造問題 用 AI 設計晶片 交大 CAMBRIDGE OFFICE 1 NTU OFFICE 2 不用出國 換教授 不用中斷學程 gain direct exposure to a different kind of AI participate in top-grade research face real industrial challenge ### We focus on cutting edge ai learn from expert designed features learn to feature -> not-directly relevant data learn to learn (meta learning) analyze social network 廣告推薦 prettier digital photo eda autonomous driving competitve software synthesis 很久的時間 不是夫花器 是真的研究中心 歡迎各總AI 2018成立 PUSH BOUNDARIES ## 11/19 taiwan ai labs 音樂科學家 sota AI音樂作曲 模擬鋼琴的聲音 出因未來 auto tune 事後把音高調整到適當的位置 簡化音樂創作流程 composition -> performance -> sound 正面 aiva 負面 幫助音樂人 啟發靈感 提供幫助創作的工具 Rule based Markov Chain RNN LSTM (2018) 前面幾個音 預測下個音 MusicVAE (RNN) Conductor (小節) -> Decoder (音符) CNN: Music as Image GAN 旋律 和弦 簡單很多 鋼琴演奏 一次談很多因 如何表示 openai wait token -> no bar lines 不直觀 音樂轉換成文字格式 很有節奏感 transformer ## 11/26 歐元區 經濟成長率 專家問卷 母體平均 -> 樣本平均 resitrcited ols regression simple equally weighted average -> fancy 專家們的 covariance finite sample error 無法避免 因為樣本數少 簡單的線性模型 求出 beta 如果變動一點點 輸出變動很大 -> 數值不穩定 求出後 三萬多 FTF -> SINGULAR MATRIX RIDGE REGRESSION 可以分解成beta 跟另一項 給每一個專家1/21的權重 再去做上下微調 Patrial Egalitarian Ridge Regression 加入一個 L1norm 的懲罰向 divide and conquer -> 每次取C位專家，再做 optimaztion mixed interger optimation np-hard problem -> 計算能提提升兩兆被 變的可能 second stage selection ### protoble laser cutting 2d vector file photo the line, line drawing no more this form big laser cutting machine -> precise 1954 -> 2000(patend expire) probility #### Small history on compiler #programs multiple platform machine specfic code 1951 pracitcal compiler 1973 Portable c compiler tansition: machine specifc -> protability 1965 custom electronics drive motors 1980 gcode 2000 svg joint 問題 自訂 編輯 svg spring in joint kerf joint match of the joint search space 但還不能自動組裝 ## 2/18 your idea 抄襲的定義 複製別人的想法 字句 作品 廣義抄襲 抄襲常見原因 沒有注意到 演講筆記是否為抄襲 沒有引用 即便引用 沒有個人想法 摘寫使用過多原講者話語 演講逐字稿 紀錄的越詳細 = 好心得? 完整呈現講者話語是抄襲 無法用引號引文引用 貞德同意 ## 2/25 thingnario AIoT SaaS 模式提供軟體服務 能源 於工控領域消彌資訊科技落差 AIoT 龐大資料輸出 減少成本 提升效率 發展新的商機、營運模式 試驗場域 領域知識 的合作夥伴 法規 太陽能 第一個領域 廣泛 持續擴展的需求 零碳排各國 企業目標 數位轉型、工業物聯網 能源領域 saas vs scada 高可擴張性 系統工新即時 雲端等等 月費訂閱制 能源轉型大趨勢 灰電到綠電 集中到分散 效率至上到永續抬頭 變革的產業就充滿機會 未來會出現很多新的商業模式與機會 預測啥 太陽能板遮陰預測 日照推估 發電量預測 domain 砍樹樹囉 考量太陽角度 attenion map 推估雲的高低 ## 3/4 IC設計 軟硬體整合 方法論 設計常見問題 軟體開發 adc clock fifo interrupt 了解 embedded system 軟體coding注意事項 是很好的標的 AI Audio 競爭激烈 語音應用 助理 聲紋 音質加強 audio開發四面向 ai audio audio設計問題 硬體的bug audioIC跟其他外部裝置的clock不一致 甚麼環節會導致project整個炸掉 ISR, CPU Resourse ## 3/11 5G SoC 光纖網路 CDG SSA SPD 5g手機需求 25.3 more battery increase battery life 1. 電池容量 pcb area reduce pcb over pcb (stacking) wifi vs modem 體驗 2. lower power design advance process node processor and cache arch low power standy hw fw sw co optimiztion 低軌道衛星 latency 開發更多事業 5g 更多應用 dynamic voltage scaling ## 3/18 ODM OEM 系統廠 沒人要來 電子代工業 本益比 比不上faang 電子五哥 全球 ems odm 排名前五 燈塔工廠 application 判斷精子好壞 AI+電腦視覺 YOLO 各種指標 防治登革熱 台灣貯氣企業附加價值比率\ ## 4/1 1. private data privacy speech personal information 2. hhigh perf speech models dnn traning data from personal info 3. new privacy challllenge model inversion attack 重現traning data的資料 membership inference 4. new privacy requirement eu 法規 加州法規 privacy mersurement and protection limited access of using customer data - GDPR EU法規 GIVE control to idividuals on personal data 1. ML Challenge under GDPR new challenge use customer data model paramter protection google's fine large amount of customer data dnn model -> privacy risl need privacy measurement is required 2. literature review FL differential privacy FL->DISTRIBUTE LEARNING FROM centrol servers to end-devices avoid direct access to user data DP->使用者資料機率分布 可能洩漏隱私資訊 從機率分布 到 數值區間 是用隨機的機制 保護隱私 同時又能保留足夠的資訊 DPSGD PRELIMINAR work protect speech data design a new generative model teacher/student models ## 4/15 berkeley stanford 台裔美國人 公司 國際組織 各種獎學金 各種比賽 紙飛機 圓 隨機取一點 土壤 組成成分 增加糧食產量 soil health -> crop health 1-2 usd 80% 國家糧食 crop health -> humam health malawi 人均醫療 data is the key to eradicationg epidemics build data systems and AI to empower local organizations in pursit sustainable global development bring the lab to the farm 25萬美金儀器 隨身攜帶 分析土壤 aids 懷孕手冊 digitalize paperwork scale up 即時資料 ## 4/29 m^(1+o(1)) apples on train o (city) -> (cost, capacity) o (city2) improve our flow negative cycles (residual graph) cost 30 flow 4050 cost flow linear program '47 simplex exp interial point method (IPM) 可行解區域 用來定義 potential 並取最小 ## 5/6 AI for network network for AI 訓練資料 傳到 server 傳輸 在 switch 上訓練 programmable switches openflow p4 targets 存取封包 openflow random forest p4 neural compute stack elepant flow 把分類演算法放到 seitch matching table -> openflow rules feature extraction ip port averagepacketsize interpacketarrivalsize two-phase lightweight batch: data plane in switch - detect heavy flow sophisticatd phase: streaming model in remote server - get rid of FP reduce false negative: phase 1 model long inference latency cnn classification ## 5/27 鄭博士 帶領 數位轉型 國際電話 40b -> 1b 個人家庭 企業 國際 技術群 蹲點 提升內部能力 價值 減少機房 業務數位化 省紙 建立生態圈 照顧好外部客戶 以客戶為中心 程式員 技術架構 業務架構 架構施 企業數位化 資料驅動應用 資訊系統雲化轉型 用雲端服務 混和雲 轉型 1. 自理 機制