作者：Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David 論文連結：https://arxiv.org/abs/1511.00363 整理by: chewei 0. 論文貢獻 本篇論文提出了BinaryConnect的 "方法" 來實現把在訓練中forward跟back propagations的權重以二元化後累加（accumulated）的方式代替乘法運算（multiply-accumulate operations） $\Rightarrow$大量降低耗電(power-hungry)及空間（space）使用率 1. 本篇論文的研究基石

方便的原論文連結😎😎 前言: 聊聊MOT Multi-Object Tracking主流有1 stage、 2 stage兩派 2-Stage是哪兩個Stage? Detection: 抓出畫面的Bounding Boxes，常用YOLO完成 Association: 透過計算與上個frame的Bounding Boxes配對，找到目前frame的BOX該與上個frame的哪個BOX配對 怎麼樣算配對?

作者：Fei Du, Peng Yang, Qi Jia, Fengtao Nan, Xiaoting Chen, Yun Yang 論文連結：https://openaccess.thecvf.com/content/CVPR2023/papers/Du_Global_and_Local_Mixture_Consistency_Cumulative_Learning_for_Long-Tailed_Visual_CVPR_2023_paper.pdf 整理by: chewei 主要貢獻： One-Stage training strategy : GLMC一個Loss: Global and Local mixture consistency Loss 一個逐Epoch累計變化的Loss 參數 $\rightarrow$ 主要圍繞在Loss改進

作者：Yutao Cui、Chenkai Zeng、Xiaoyu Zhao、Yichun Yang、Gangshan Wu、Limin Wang Abstract： 貢獻： 為Multi-Object Tracking及運動領域提供一個資料量龐大的dataset。內容包含足球、籃球、排球場上的所有球員。由240個影片組成，總計有約15萬幀和160萬個Bounding boxes。 將一些主流的Track 在 SportsMOT上做基準測試，發現關鍵挑戰在於物件關聯性。 提出Mixsort SportsMOT包含以下兩個特點：

作者：Yufei Xu, Jing Zhang Qiming Zhang, Dacheng Tao 論文連結：https://arxiv.org/abs/2204.12484

作者：Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez、Łukasz Kaiser、Illia Polosukhin 整理：Pocky 前言 Abstract 在Sequence轉換任務中，Based on 複雜的循環 or CNN的序列轉換模型，都包含一個encoder和decoder。 擁有Attention機制的最佳模型也包含encoder和decoder Propose 一種新的簡單網路架構 - Transformer。

Tsung-Yi Lin Priya Goyal Ross Girshick Kaiming He Piotr Dollar´ Facebook AI Research (FAIR) [paper link] 重點整理 Focal Loss主要目的在於解決資料不平衡的情形，但資料是指什麼資料?誰跟誰不平衡? 本篇提出的架構RetinaNet的來由及架構淵源 單就Focal Loss的技巧就讓One-Stage表現與Two-Stage旗鼓相當，另外模型的架構也是提升準確率的一大原因

作者： Xuanqing Liu、Hsiang-Fu Yu、Inderjit Dhillon、Cho-Jui Hsieh 整理：Pocky 論文連結 前言 這篇論文提出一種新的方法來幫助非循環模型(Non Recurrent Model)學習如何編碼位置的訊息。 Why： Non Recurrent Model，例如Transformer，對於位置的敏感度較低。

Unsupervised的精神 要直接讓模型訓練好，不如先讓模型自己先了解可能會碰到的資料長什麼樣子(過程中沒有label)，熟悉未來的方向後，再讓模型進行supervised的訓練。 本篇論文就是讓模型先學會用"目前的的特徵"預測預測'未來的特徵"，經過這個過程，有效提升最終的辨識效果。 貢獻與地位 第一個在語音辨識使用unsupervisised pre-training的方式，改善最終語音識別效果。 We pre-train a simple multi-layer convolutional neural network optimized via a noise contrastive binary classification task.

由facebook AI發表 同為這系列的"某某某 to vector"還有wav2vec、data2vec... facebook說這一篇是wav2vec的接班人~ 觀點 神經網路需要大量的資料量，畢竟是Learn from Data，但有標記的資料可是相當難取得的(人力成本高)，因此希望利用Unlabeld Data幫模型預訓練，再進一步微調到下游任務中。 本篇實驗中，驗證了模型經過預訓練後，只要利用少部分的標記資料就能達到相當不錯的成果。

作者：Yu Li, Tao Wang, Bingyi Kang, Sheng Tang, Chunfeng Wang, Jintao Li, Jiashi Feng 論文連結：https://openaccess.thecvf.com/content_CVPR_2020/papers/Li_Overcoming_Classifier_Imbalance_for_Long-Tail_Object_Detection_With_Balanced_Group_CVPR_2020_paper.pdf 整理by: chewei 前言:Long-tail問題 在真實世界中常常有些類別的資料集數量是較少的，然而這個較少的類別常常在訓練模型導致一些"Imbalance"的問題，使得訓練結果變差，因此作者想出一個方法：Balanced Group Softmax來解決這個問題 1.Balanced Group Softmax(BAGS)簡介 把數量相近的class分別框出來，各自作softmax,cross-entropy loss

作者：Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko 論文連結：https://arxiv.org/abs/1712.05877 整理by: chewei 前言：小模型的優勢 在不管手機，AR/VR，或是無人機等，這些裝置都需要模型在受限的記憶體(limited memory)以及較低的模型在硬體上運行的時間（low latency） 0.先前模型問題 先前的量化模型都是在AlexNet、VGG和GoogleNet等，而這些模型其實本身就有過度參數化的問題，導致在這些架構上進行量化可以輕易地獲得顯著的模型壓縮效果，但這樣的實驗更多只能證明概念，而不是提供實際應用中有意義的挑戰。 缺乏在實際硬件上的效率改進證明

作者： Deniz Engin、Anıl Genc、Hazım Kemal Ekenel 整理：Pocky 論文連結 前言 有關於圖像去除霧氣的問題，過去的方法都是基於先驗信息對大氣散射模型的參數估計，直接估計霧氣的厚度，如何愷明的暗通道先驗。 這篇論文提出了一種名為Cycle-Dehaze的端對端網路，同樣是解決單張圖像去霧問題，Cycle-Dehaze不依賴於大氣散射模型的參數估計。不需要成對的模糊和相應的真實圖像，可以使用不匹配的圖像進行訓練。透過結合CycleGAN的Cycle-consistency和EnhanceNet的 Perceptual loss 來增強CycleGAN的架構。最後為了獲得高解析度的圖像輸出，採用了基於拉普拉斯金字塔的上採樣方法。 論文主要貢獻 通過添加循環感知一致性損失，增強了CycleGAN[37]架構用於單圖像去霧。

作者：Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio 論文連結：https://arxiv.org/abs/1602.02830 整理by: chewei 前言: 二元神經網路 這是2016一篇把quantize做到1bit的論文，基於Torch7 和 Theano的框架， 作到了當時對MNIST, CIFAR-10 和 SVHN datasets接近的SOTA效果，並且撰寫了 一個GPU kernel，可再對MNIST任務加速7倍。 0. 論文貢獻

論文作者：Ke Sun, Bin Xiao,Dong Liu, Jingdong Wang University of Science and Technology of China Microsoft Research Asia 發表：CVPR 2019 [paper link] 整理by: YXChen 簡介 截圖 2024-03-06 下午11.58.34

論文作者: Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, Serge Belongie 發表到: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 整理by: PYChou 在這篇介紹裡面會圍繞著這張圖片討論 可以先看這張圖內的(a)~(d)，可以很直覺的了解到"空間尺度"的不同處理方式 image

論文作者: Nianhui Guo, Joseph Bethge, Christoph Meinel, Haojin Yang 整理by: PYChou 前言: 二元神經網路的目標 這篇的主題在獎如何將神經網路的權重從32 bits壓縮至1 bit，從而加速運算，這種加速會對硬體的加速也有幫助。另外就是可以用更少的儲存空間來存模型。 此篇為第一個二元神經網路在ImageNet的準確率表現超過80%(top-1)，個人認為此篇的確有集合了許多過去的優點，是在此領域值得一讀的方法。 0. 量子速讀版

論文作者: Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever 整理by: PYChou 論文CILP說明與筆記

整理by: Shirley Wang SWA SWA是一種最佳化演算法，改進模型的泛化能力。 取多個迭代點的值進行平均，以取代單一迭代點的參數，提高模型泛化能力。 與SGD相比，雖然SWA在訓練時損失較高，但是在測試集的表現較，代表SWA擁有較好的泛化能力。 SWA~params~ = 1/t$\Sigma$^T^~t=1~$\theta$~t~