Steven Gao

@steven0129

Joined on Sep 22, 2016

  • # 各種Residual Block ## Related Work NN不斷在往Deep發展,如果只是簡單地不斷加深網路的層數,並不能使training error下降 ![](https://i.imgur.com/Qc4eq3S.png) 後來出現了[ResNet](https://arxiv.org/pdf/1512.03385.pdf),ResNet疊了100個Layer,所以他們實作了Residual Block來解決越深卻沒有越好的問題 ## Residual Block ![](https://i.imgur.com/pbQ2qYd.png) 提出這樣的Block的好處在於,在做過去Conv. Layer在做Training的時候所需要的工作量,隨著加入簡單的Identity層"跳躍"兩個Conv. Layer,降低了Conv. Layer訓練時成本(所需要調整的Residual),也因此NN的層數也就能夠增加,如下圖所示 ![](https://i.imgur.com/nrIz7Ud.png) :::info **生物學上的神經傳導跳躍** 還沒看[
     Like 1 Bookmark