KK

@KK2023

Joined on Dec 14, 2021

  • encoder wte image wpe image encoder_forward 函數的任務是 將文本中的每個單詞(或稱為token)和它在文本中的位置,轉換成一個數字向量,
     Like  Bookmark
  • TLDR. 先用 pytorch 簡單做出該層,並產生測資 ln.bin 再跑C實作,C實作讀取 ln.bin後計算並驗證,再輸出驗證結果。 import torch eps = 1e-5 class LayerNorm: @staticmethod
     Like  Bookmark
  • image 出處 在 NLP 領域中,BN 有怎樣的缺點? image image image
     Like  Bookmark
  • Goals 假設手上有一個神經網路模型,目標是將該模型修剪到只有原本大小的25%, 且經過微調後的 validation accuracy 大於 92.5 要用怎樣的剪枝法? 要在手機或 NPU 上加速,該使用哪種方法? 修剪神經網路模型來減小模型大小跟延遲。 可以理解基本概念修剪(pruning) 實作並應用細粒度修剪(fine-grained pruning) 實作並應用通道修剪 (channel pruning)
     Like  Bookmark
  • 對經典神經網絡模型進行量化,以減少模型大小和延遲。此任務的目標如下: 實作 K-Means Quantization 及 Linear Quantization 了解量化的基本概念 實現並應用 K-means 量化 實現並應用針對 K-means 量化的量化感知訓練 實現並應用線性量化 實現並應用線性量化的整數推斷 基本了解量化帶來的性能改善(如加速)
     Like  Bookmark
  • solidity https://remix.ethereum.org/ 我的建議是先要會metamask的基本操作,一般常用defi的話就OK,再來是要會讀explorer上的交易,至少要了解怎麼查找。接下來我覺得就可以開始學寫code了, 我建議是從應用著手,看能不能自己研究出怎麼用code傳送一點錢給另一個錢包,也就是能不能用code去執行你原本要手點的操作,像是傳錢、複投、買賣幣等,熟悉之後再進一步就要講究速度,畢竟都是要跟其他機器人競爭的。再後面可以學寫自己的合約。 我自己的機器人是javascript,搭配自己寫的合約。我以前也沒寫過js,所以應該有基本程式底子都可以試試看。 推 jorden: 很厲害啊 03/07 16:10 推 WinRoww: 推推 韭菜如我要好好學習了 感謝大大不吝分享 03/07 16:17 推 bxc: 感謝回答 我還以爲要學sollidity 03/07 16:29 如果是只有js應該可以取代幾乎所有要手操的部分了,再加上solidity可以玩更多花樣
     Like  Bookmark