# 2021/05/26 ###### tags: `進度報告` ## 現在進度 ### 論文閱讀 * [Survey](https://hackmd.io/PhLvyxlfST22JBgF7vBSxQ?view) * [Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels](https://hackmd.io/yHL_Z-XbQomdSoD4yjbuuA?view) * RepVGG * 特點 * 模型跟VGG類似,不包含任何分支,無需保存過多的中間結果,內存佔用少。 * 模型僅包含3x3conv和ReLU,計算速度快。 * 具體的網絡結構(包括深度和寬度)不需要依靠人工調整以及復合縮放等複雜手段進行設計,十分靈活。 * 單分支網絡來達到與多分支網絡一樣的精度是很難的,所以論文在train時使用多分支進行訓練,訓練完成後將其參數轉移到簡單網絡中 * 多分支訓練 ![](https://i.imgur.com/4gu7mRJ.png) 在train時,為每一個 3x3 conv添加平行的 1x1 卷積分支和 identity 分支,構成一個 RepVGG Block。這種設計是參考 ResNet 的做法,區別在於 ResNet 是每隔兩層或三層加一分支,而本文是每層都加。 * re-parameterization of a RepVGG `還在研究中` ![](https://i.imgur.com/9r8IrUt.png) * 架構 ![](https://i.imgur.com/6Z5R4A6.png) * a,b為縮放係數 * 我們通過均勻縮放[64、128、256、512]的經典寬度設置(例如VGG和ResNets)來確定圖層寬度 * 局限的地方 RepVGG 是為 GPU 和專用硬件設計的高效模型,追求高速度、省內存,較少關注參數量和理論計算量。在低算力設備上,可能MobileNet 和 ShuffleNet 系列適和。 ### 實驗室 * Image Processing HW ### 專題生 皆已完成,等待老師過目 --- ## 未來計畫 ### 論文閱讀 * Survey * RepVGG的re-parameterization of a RepVGG ### 目前想法 * Image captioning/understanding 沒有興趣 * Survey之後還是不太知道怎麼去找出我想做甚麼