--- title: mix_precision實做 tags: 實做練習 --- ## Refer to [tensorflow 教材](https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/guide/keras/mixed_precision.ipynb) Overflow & Underflow testing of Float 16  首先設定的部份,先引入tensorflow(2.1版) 我指定給一號GPU  參考 tensorflow2 的[文檔](https://www.tensorflow.org/guide/gpu)限制我的 GPU **用多少開多少** ``` gpus = tf.config.experimental.list_physical_devices('GPU') if gp

--- title: Mixed precision --- contributed by < `weian312`> # 混合精度訓練 **2018 ICLR** `Sharan et al.(Baidu)`, `Paulius et al.(NVIDIA)` :::warning TODO ::: * 實測 * 論文還有部份重點沒出來 :::info 首先科普 IEEE754 ::: **Half-Precision (FP16, binary16)**  最小正尾數 $2^{-24}$ ``` 0 00000 0000000001 ``` ## Implementation 那這裡就直接從 implement 開始說吧！ 首先複習一下深度學

--- title: CNN Architecture # 簡報的名稱 tags: Meeting # 簡報的標籤 slideOptions: # 簡報相關的設定 theme: midnight slideNumber: true --- # CNN Architecture --- ## 示意圖 **卷積層** Normal:  With padding:  --- **Maxpooling**  (來源:cs231n) --- **全連接層** ![](https://ver217-1253339008.cos.ap-

--- title: Synthetic Data for Text Localisation in Natural Images tags: 論文共筆 --- # Synthetic Data for Text Localisation in Natural Images `Ankush Gupta et al. 2016 CVPR` ## 時空背景 Text Spotting: 電腦視覺中,處理在自然場景中閱讀文字問題 Intro 提到此時的 SOTA 是 [這篇](https://hackmd.io/s_gEOu6XR8qUks-sabb9WQ) (同一個Group自己講的, 自行判斷～) :::success SOTA 的問題 ::: **正確切割成為辨識正確率的瓶頸** 正確切割的文字圖片的 **Accuracy** 達到98%, 但 end2end 的 **F-measure** 只有69%, 主因是有許多錯誤切割的區域, 會造成辨識上困難 參見附圖 🤣 ![](https://lh6.ggpht.com/-rYCXoSDNp3E/UK3KR3O9vjI/AAA

--- title: Deeply Supervised Object Detector tags: Deep Learning --- # DSOD 筆記 * 現有的物件偵測器常常仰賴在 large-scale classification 的數據集, 例如 ImageNet, 導致有 'learning bias' 來自分類與檢測任務的loss function 和類別分佈的不同 --- **Transfer learning 的幾個缺點** * Limited structure design space 大部分的預訓練模型都在ImageNet分類任務上做 * Learning bias 分類與檢測最佳化目標不同, 可能導致學到局部最小值而非對於檢測任務最佳的解 * Domain mismatch 例如用ImageNet訓練的網路拿來fine tune成醫學影像的檢測模型 兩個問題 1.可能從頭開始訓練模型嗎？ 2.如果可行, 有沒有什麼準則可以設計對於偵測任務,資源高效且維持SOTA準確度的網路？ :::info 原文表示DSOD非常彈性, 可以為