深度學習考古題

2.廣度代表的是單次卷積運算後，所產生出的特徵圖數
深度則代表經過多少個卷積層或其他如pooling，dropout的運算總層數。
一個深度學習模型越深不代表越好，這需要考慮模型所應用的資料，以及模型的設計等，例如CoauthorsCS引文網路的結點分類任務上的一般結果。深度越深，基線（帶有殘差連線的GCN）的表現越差。
但若在適當的調整下，深度越深在人臉辨識方面，可以讀取到更大範圍的臉部特徵，以方便辨識人臉
廣度越廣可以獲取更多的影像資訊，如原本只能偵測到直線，斜線，近一步偵測斜紋路等等，但隨著廣度的增加運算量也會增加
特徵向量越長越好嗎？不一定
在比較上會被稀釋，造成比較上可能會被模糊
3.
4.

注意力是指可以針對特定通道乘以不同的倍率，以強調或減少權重。又比如在一張影像當中的不同位置，可以針對特徵圖進行權重加乘，以強調特定位置ex左下角的重要性，將右上角減少重要性等等
5.
令圖的大小為mn
左圖是一一對應相加，結果一樣是64張特徵圖，總共mn64個加法
右圖是直接並聯，因此會得到128張特徵圖，然後再使用11卷積運算出64張特徵圖
乘法：128mn64
加法：127mn64
addition 是concatenation加一個卷積的subset
concatenation特徵圖增加一倍，速度慢很多，保留比較多的特徵資料，速度被拖慢。

class label smoothing 降低過度擬合現象

因為IOU有一些無法充分表達的特性，因此出現GIOU

skip 跟shortcut的差別:
skip 用concatenation
shortcut最後是用pixelwise addition

• Xception 跟MobileNet都有做separable convolution，差在哪?
• M:先做depth wise再做point
• X:先做point再做depth