NLP recurrent paper link BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Big Bird Big Bird: Transformers for Longer Sequences

Linformer: Self-Attention with Linear Complexity(2020 FBAI) 與其他Transformer差異 概念 基於self-attention是Low-rank的理論，利用linear將原始的attention matrix project 成一個Low-rank matrix，簡單說就是一個高維空間中的點集，可以被線性地嵌到低維空間中，且其結構只遭受較小的變化 transformer Multi-head Attention $(Q、K、V)$都是輸入的嵌入矩陣， $n$是序列長度， $d_k$是嵌入維度， $h$是Head的數量，每個head的計算方式如下：

本學期進度 轉換研究方向，由原先的CNN體系更改為Transformer體系 確立論文研究方向 Transformer結合CNN進行Token生成 將原先研究的CNN attention 強化特徵提取之特性結合進Transformer結構 改善原有的Transformer attention 降低其運算量 科技部計畫

SOTA變化 目前ImageNet、Cifar10等資料分類中的模型幾乎看不見ResNet體系與ResNet體系，取而代之的是Transformer與Efficientnet，其中Transformer相關研究數量在去年直線增加 Transformer self-attention attention in cv multi-head attention 把原先的Q、K、V分成兩個獨立運算，最後concat在一起在去做降維

Paper reading RepVGG: Making VGG-style ConvNets Great Again(CVPR 2021) 上週問題 $1*1$還有BN是幹嘛用的? 文中沒有詳細敘述$1*1$ 的用途，感覺應該是實驗出來的 BN層是模仿ResNet 的identity 2. BN沒有參數怎麼融合? 融合到偏置量

Paper reading A CONVLSTM-COMBINED HIERARCHICAL ATTENTION NETWORK FOR SALIENCY DETECTION (ICIP 2020) 上週問題 Block-wise attention mechanism 只是把H × W × C 的 C upsampling 後再做一次 CA ConvLSTM LSTM

Paper reading A CONVLSTM-COMBINED HIERARCHICAL ATTENTION NETWORK FOR SALIENCY DETECTION (ICIP 2020) 目的: 將attention的概念應用在SALIENCY DETECTION上 貢獻: 提出了ConvLSTM架構 整體架構: Spatial-wise attention mechanism(SA) ConvLSTM

Leaf detection model yolo_v2 Data Trainig: 221 testing: 139 目前實驗概況 目前loss最低約為1.97左右

Paper survey ResNeSt: Split-Attention Networks(2020/04/19,amazon & U.C. Davis) link: https://arxiv.org/pdf/2004.08955.pdf 概念 以SE與SK net的概念改進原有的ResNext 主要貢獻: 1.提出Split-Attention block 2.提出ResNest

ResNext 同時採用VGG堆疊的思想和split-transform-merge(Inception)思想 論文連結:Aggregated Residual Transformations for Deep Neural Networks 英文聽力(每天至少一小時) Netflix影片 youtube 其他論文整理

兩大ResNet變體論文整理(之後報告) ResNext 1.結合ResNet與Inception 2.與Inception的差異與優點 3.提出新的連接層概念 Wide Residual Networks 1.增加short cut中的conv 2.更寬的網路架構 3.提出不同的dropout用法

論文部分 ResNet變體論文整理(明天報告) wide-ResNet ResNext 英文練習 1.背一些常用片語 2.多看一些介係詞 3.每天30分鐘美劇

進度報告 網頁 https://ndhu-divc.github.io/ 目前在整理有用到的文件名稱，以方便往後修改 論文 目前正在讀 1.High-Performance Deep Neural Network-Based Tomato Plant Diseases and Pests Diagnosis System With Refinement Filter Bank 這篇論文，這也是目前少數用Detection來做病蟲害的論文

Tracking 1.https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6412970/ 2.https://papers.nips.cc/paper/2017/file/752d25a1f8dbfb2d656bac3094bfb81c-Paper.pdf 都是用Hierarchical Attention的方式(沒看) https://arxiv.org/pdf/1711.01124.pdf 其他 1.https://arxiv.org/pdf/1705.02544.pdf

CBAM: Convolutional Block Attention Module(ECCV2018) 這篇主要結合 Spatial & Channel Domain 的 Attention CBAM Block Channel attention 跟SE-Net一樣用兩個FC後cancat在一起做sigmoid取得scale $r$一樣是16

CVPR 2018 Introduction CNN 主要透過 convolution 將 receptive fields 中的空間及 channel 資訊進行融合 先前的研究多著重於 spatial 方面加強模型性能，如 inception 融合不同大小了 filter ，聚合不同大小的 RF 提升模型性能 本論文考慮了 feature channel 之間的關係提出一個子結構稱為 SE-block 來模擬 channel 間的關係來學習每個通道的重要程度。 可以嵌入不同的網路結構中

Paper 特徵檢測 Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition(CVPR2017) 有點像做bounding box的效果 改善模型方面 Squeeze-and-Excitation Networks (2017)

其他作物相關 1.目前本地哪一種作物的種植數量多，疾病辨識需求如何? 2.除了葉片外是否有其他部位可以藉由圖像分析辨識 3.除了病害辨識以外是否有其他需求?如:果實外觀分析 4.疾病間是否會互相影響，如某些黴菌會抑制其他細菌生長 5.是否有些疾病會有季節性，只在特定時間內出現 6.是否有是否有其他同科物種有共通疾病且病徵相近 瓜果相關: 1.目前是否有瓜果蟲害辨識的需求

title:暑假報告 論文: 結構方面 ResNet、ResNext、Wide-ResNet 病蟲害應用方面 之後會將各篇的差異整理成表格 英文練習

陌生人區別 如果是以deep learning的方式，目前看下來是以便是正確率為標準 與實際應用上有所差異，看到的討論主要是以Double Loss來計算差異，若超過某個值就判斷非此人 FaceNet: A Unified Embedding for Face Recognition and Clustering 學習每張人臉的歐幾里德距離，並輸出成維度1x1x128來表示特徵 主要貢獻是提出了一個loss function triplet sample(anchor, positive, negative) 不同於以往的single或 double loss