---
tags: Plant Disease classfication
title: Personal meeting 2020/04/14
date: '14, April, 2020'
---
## 論文部分
### MobileNets變體
自2017發表以來，又於2018、2019陸續提出了兩個版本
||v1|v2|v3|
|--|--|--|--|
|時間|2017|2018|2019|
|使用技術|導入深度可分離捲積|加入了殘差塊、bottleneck結構|加入platform-aware NAS和NetAdapt|
|效果(ImageNet)|70.6|74.7|75.2|
|Params|4.2M|6.9M|5.4M|

## MobileNetV2: Inverted Residuals and Linear Bottlenecks

#### 簡述
基於 inverted residual structure建立，並發現移除窄層的非線性變換是有效的

#### 論文重點
提出一種新的layer稱作inverted residual with linear bottleneck，與一般的residual block不同，通常residual lock是一個 **壓縮→捲積→擴張** 的過程；而inverted residual則是相反的 **擴張→捲積→壓縮**
這麼做的原因是因為depthwise separable convolutions提取特徵會與通道樹相關，若是一開始先壓縮會造成取地的feature太少，因此反其道而行。


:::info
文中提出個個網路層會形成一個manifold of interest，這個manifold of interest可以被遷入在低維子空間中，當我們看各個D-channel中的pixel，實際上這個pixel屬於某個manifold。因此減少維度直到manifold of interest充滿feature map就能夠得到特徵；而若是使用relu這類激活函數簡單的減少維度將會channel大部分的訊息遺失，若要使用relu處理低通道的feature map又要避免遺失訊息的話將會非常複雜；此外可以發現，當relu的結果都不是0時，relu的作用就相當於一個線性變換。因此可以得到以下兩個事實:
:::

1. If the manifold of interest remains non-zero volume after ReLU transformation, it corresponds to a linear transformation.

2. ReLU is capable of preserving complete information about the input manifold, but only if the input manifold lies in a low-dimensional subspace of the input space.

:::danger
個人理解:
實際中的manifold of interest並非D-channel的所有訊息，而是一小部分而已，若使用relu這樣輕易地轉換會丟失許多特徵，因此本文選擇使用linear bottleneck取代
:::

### 論文連結
* [MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications](https://arxiv.org/pdf/1704.04861.pdf)
* [MobileNetV2: Inverted Residuals and Linear Bottlenecks](https://arxiv.org/pdf/1801.04381.pdf)