2023-12-12 課堂問答簡記

預告: Google AI 核心團隊研究員心得分享

安排在 12 月 19 日晚間: Felix Chern

典範移轉

NVIDIA

One tiny country drove 15% of Nvidia's revenue – here's why it needs so many chips
新加坡在這一季度成為 NVIDIA 營收的第四大來源，占比達到 15%。這一成績僅次於美國、台灣和中國，它們的營收貢獻分別為 34.77%, 23.91% 和22.24%。新加坡之所以能達到這樣的成績，主要是因為其在資料中心領域的強大吸引力，吸引大量外資企業在此建立資料中心。此外，NVIDIA 在資料中心市場的銷售佔其總營收的 80%，這也是新加坡營收比重高的重要原因。

最近，NVIDIA 的首席執行官黃仁勳在新加坡與總理李顯龍及經濟發展局的高層進行會面，提到在新加坡投資建立一個具有標誌性意義的人工智慧中心的可能。此外，NVIDIA 正與新加坡的二個政府機構（IMDA 和 A*Star）及學術機構（新加坡國立大學和南洋理工大學）合作，開發名為 SEA-LION 的大型東南亞語言模型。這個模型旨在支援 11 種東南亞語言，以反映該地區獨特的文化和語言習慣，這與西方世界的訓練資料有所不同。該計劃為期兩年，預算為 7000 萬新加坡元 (相當於 5200 萬美元或 16 億台幣)，目前模型的參數量達到 70 億。

此外，新加坡副總理近日宣布推動國家 AI 策略 2.0，計劃將現有的 4500 名 AI 人才增加到 15000 名，這可能會帶來更多 AI 相關的職位機會。目前，在新加坡具有影響力且規模較大的 AI 團隊不多，這使得在字節跳動從事 AI 工作的專業人士不確定應該如何轉換跳槽。然而，最近有幾家具有國際性的公司在新加坡招聘 AI 人才，包括 Meta，計劃在此建立短影片推薦團隊，以及 Salesforce 計劃擴增其在新加坡的研究團隊。

Image Not Showing Possible Reasons

The image was uploaded to a note which you don't have access to
The note which the image was originally uploaded to has been deleted

Learn More →

GPT4 was presumably trained for around 90 days using 25k A100 GPUs. Microsoft and Meta having reportedly bought 150k H100 GPUs each this year, can now train a GPT4 class model in only 7 days from scratch (not even including their existing GPU stockpile). [ source ]

video: 在訴訟與罵名中崛起的輝達 GPU：從未停止過戰鬥，也沒有永遠的朋友
video: 從游戲顯卡、礦卡到「AI霸主」，英偉達憑什麽？

面試和互動

工程師英國求職紀錄: Behavior Questions
面試時的反問
Dcard 網友分享: 寒冬菜鳥新鮮人求職心得
- 「進入二面，分別是一位 tech manager 跟 PE manager，PE manager 都在聊天，tech 先給我 reverse linked list 暖身，接著再考進階題，我就寫不出來了 (Jserv 不好好讀的下場)」
- 「Jserv 的 C 語言講座真的是頂中之頂，也強烈建議 Leetcode 中一些 easy 的問題可以用 C 去寫而不是 C++，會讓自己印象更深刻。如果可以把裡面的內容以及 lab 都做出來，相信你去任何軟韌公司的技術問題都可以迎刃而解。」
- 「有些公司會先叫你做大家耳熟能詳的問題，中序前序存取，reverse Linked List。接著再叫你用跟原本不一樣的方式實作，存取改 iterative，reverse Linked List 改遞迴，或者希望你用 indirect pointer，考起來的感覺就像是 Jserv 的筆記一樣，一步一步的考你思考的能力」