# 加速大語言模型訓練的第一手經驗和美國工作經驗談 講座筆記 software engineer 其實越來越不在乎GPA/public 比較在乎你的實作能力 為什麼開源很有價值 * 每行code都是可見得 * project 可以帶給很多人影響 * 並且學到的技術都是可以帶走的 Triton * openai用的 * 可以自動最佳化 * 介面很直覺 像numpy * python native * clean dependency 開源重視什麼 * reliable * numerically stable * convergence * easy to use * 不只是要能用，能夠穩定且有效果是非常重要的，並且也不能太難使用 不要當理由伯 想做的當下就做 不要找理由說自己很忙 可以找一些社群，這樣可以參與討論，也能更好的知道有什麼問題可以問誰 孤狗面試除了寫扣外，要能夠明確的表達，利用溝通完成面試是非常重要的。 open source 也是一個大型的溝通場所 做開源不只能累積技能，同時也能認識各方人士。 公司很注重documentation，把自己做過的事情都紀錄下來，並且盡量使用英文。 有潛力有價值的技能，接觸GPU相關的領域。 小白怎麼辦 最快的方式就是厚顏無恥的寫信問最活躍的人 開頭說還在求學的學生 問他有什麼簡單的問題讓你解 之後再回信給他 叫他幫你看 最重要的是能展現決心，可以問的時候說有事先做了哪些功課 做fullstack(只會寫網頁，其他只碰一點點)很難在美國找到工作 想去美國工作的話，在台灣至少有2份實習，或是1年~2年的工作經驗 多利用暑假去實習 要學會包裝自己 與其觀望，先找到實習最重要，不管從那個公司都可以 刷題重質不重量 除了DP，對於演算法要有一定的了解，最好一邊寫一邊講，最好每天刷睡前刷個三題之類的。 入門參與liger kernel開發 * 先有LLM相關知識 * 再嘗試triton怎麼寫 * 接著就可以開始在社群問，有什麼可以幫忙的，要有好的GPU很重要，4090可以，3080可能就不好說了。 去美國最重要的，英文英文英文 GPA也要顧一些 如果你有什麼目標什麼公司，最應該的是注重哪個領域 想做工程師 先決定自己想做那種工程師 然後透過各種關係去認識這領域的人 如果想做ML 那直接發paper 讀PhD 如果想找工作 那就是找好實習包裝自己 OpenBMC