# 各種 Normalization 示意圖

[](https://hackmd.io/4q4Erg3wROuoOhqmLYnZuQ)


有鑒於本人的空間概念差到不明所以，常見如上方的圖出現在論文中，我還是要思考很久，故做一些簡單的 GIF 動圖，方便跟我有一樣問題的人更好理解 normalization 的維度

---

示意圖的維度皆為 $(4, 5, 3, 3)$ 依序對應 Pytorch $(B, C, H, W)$

## BatchNorm


## LayerNorm


## GroupNorm


## InstanceNorm


## PositionNorm