技術研討方向

https://zhuanlan.zhihu.com/p/58805980

Redundancy in Weights

https://www.cnblogs.com/wujianming-110117/p/12702802.html

1. 剪枝（Pruning）

90年代只有neural network:

• Magnitude-based: 對網絡中每個hidden unit與其絕對值相關的weight decay來最小化hidden unit數量
• Optimal brain damage(OBD)/Optimal brain surgeon(OBS):基于损失函数相對於權重的二階導數（對權重向量来說即Hessian矩陣）来衡量網絡中權重的重要程度，然後對其進行裁減

2012年後，Deep neural network崛起

• 非結構化剪枝(Unstructured pruning):早期的方法多屬於非結構化剪枝，裁減神經元，但kernel會變得很稀疏，得到中間很多元素為0的矩陣，因此很難實質的提升性能。
• 結構化剪枝(Structured pruning):近期研究集中在結構化剪枝，可進一步細分為:
  • channel-wise
  • filter-wise
  • shape-wise

詳細介紹: 闲话模型压缩之网络剪枝（Network Pruning）篇
閒話模型壓縮（Model compression）之網絡剪枝

Filter pruning: (JN)
paper:
PRUNING FILTERS FOR EFFICIENT CONVNETS
論文中文講解1
論文中文講解2（中文講解也很多篇）
code:
Pruning Filters for Efficient Convnets

$\to$ 1200 （github有很多人寫這篇）

github 搜尋pruning filters for efficient convnets

**Channel pruning:
paper:
Learning Efficient Convolutional Networks through Network Slimming
code:
Network Slimming

$\to$ 564
YOLOv3-model-pruning

$\to$ 1400

---

Code:
Pruning (Keras):

1. 修剪非必要權重
2. Pruning in Keras example

Deep-Compression-PyTorch

$\to$ 260 / 用簡單的 net 實作 Deep Compression

List of Weight and Filter pruning

$\to$ 很多paper及對應的github

package:
Distiller

$\to$ Distiller is an open-source Python package for neural network compression research.(PyTorch)

• Pruning包含：filter/channel
• Quantization

---

相關經典 paper:

1. A Survey of Model Compression and Acceleration for Deep Neural Networks
   $\to$ 介紹模型壓縮方法的各種來龍去脈
2. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
   $\to$ 作者將剪枝、量化和編碼等技術結合起來，在不顯著影響準確性的前提下，將存儲需求減少35x（AlexNet）至49x（VGG-19）
3. Learning both Weights and Connections for Efficient Neural Networks
   $\to$ Deep Compression 中剪枝的方法
4. Single Shot Structured Pruning Before Training

---

Resource:
Pruning 介紹
https://kknews.cc/zh-tw/science/g8kmo8e.html

Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method

---

2.量化（Quantization）

概念：

量化就是將神經網絡的浮點算法轉換為定點。量化有若干相似的術語。低精度（Low precision）可能是最通用的概念。常規精度一般使用FP32（32位浮點，單精度）存儲模型權重；低精度則表示FP16（半精度浮點），INT8（8位的定點整數）等等數值格式。不過目前低精度往往指代INT8。

參考資源：
https://jackwish.net/2019/neural-network-quantization-introduction-chn.html

---

Paper with code:
What Do Compressed Deep Neural Networks Forget?

$\to$ 16,032

Training with Quantization Noise for Extreme Model Compression

$\to$ 11,300

3.（Low-rank factorization）

4.（Knowledge distillation）

參考資料大補帖

https://github.com/memoiry/Awesome-model-compression-and-acceleration/blob/master/README.md