ML 讀書會 - HackMD

# ML 讀書會 ### Lecture Note Lecture 1 Introduce imageNet(28:40~35:57) Research topic of computer vision(36:13~49:53) Lecture 2  Image Classification: A core task in Computer Vision Challenge of Image Classification: (5:49~10:08)  Cifar 10 Distance Metric Hyperparameters(29:17~39:33) Linear Classfication(46:11~END)  Question: Lecture 1 1.How many layers in imagenet? 2.In 1998, JanLecun already use CNN to recognize digits,Why CNN is popular in recent years? ### 07/08 Topic - (江宗致) ImageNet, Cifar-10 Benchmarks - (許家銓) Distance Metrics (L1, L2) - (Eric Chen) Support Vector Machine (SVM) - (柳廷儒) KNN algorithm - (RoMin Liu) softmax function, and cross-entropy loss - (黃俊瑋) computational graphs (BP algorithm) - (黃俊嘉) ReLu (activation functions) 各位下周幫我準備一個簡單的分享，大概五分鐘就好，形式不拘(e.g., 可以是ppt、或簡單的coding實驗)，每個人分配的題目如上圖，如果要換可以私下換。基本上都是從lecture 1~4當中提取(有一些是額外相關的topic)。希望大家就是可以在報告的時候說明：自己的題目是什麼?做的動機是什麼?為什麼這樣做?(e.g., 為什麼在NN的架構當中加入ReLu?還有什麼其他的activation function?各自有什麼優缺點...等等)。基本上就是一個study並分享的概念，也鼓勵大家都可以問彼此問題(教學相長)。阿如果有希望在讀書會形式上的調整，也可以跟我說。 ### 07/15 Topic - (江宗致) Dropout Layer - (許家銓) Wasserstein Distance - (Eric Chen) Batch Normalization 三位下周幫我準備一個簡單的分享，大概五分鐘就好，形式不拘，每個人分配的題目如上圖，如果要換可以私下換。如果有興趣+時間的話，鼓勵各位直接看原著的paper: - Dropout: https://jmlr.org/papers/v15/srivastava14a.html - BN: https://arxiv.org/abs/1502.03167 ### 07/29 Topic - (柳廷儒) ResNet - (RoMin Liu) GRU (Gated Recurrent Unit) - (黃俊瑋) Object Detection (R-CNN v.s. YOLO) - (黃俊嘉) Semantic Segmentation (FCN) 四位下周幫我準備一個簡單的分享，形式不拘，每個人分配的題目如上圖，如果要換可以私下換。如果有興趣+時間的話，鼓勵各位直接看原著的paper: - ResNet: https://arxiv.org/abs/1512.03385 - GRU: https://arxiv.org/pdf/1412.3555.pdf - YOLO: https://arxiv.org/abs/1506.02640 - R-CNN: https://arxiv.org/pdf/1311.2524.pdf - FCN: https://arxiv.org/abs/1411.4038 (這些都是上千上萬citation的始祖級大作啊) 這些分享的題目是從9,10,11,12擷取出來的。然後就是我看了一下後面的課程，基本上lecture 11, 12都在講specific high-level CV tasks，其中Object Detection、Segmentation會是你們在做專題比較可能用到的，就至少這部分要學會，其他的話可以當作是參考ML可以有什麼應用，幫助大家發想，但細節就不一定要去鑽研。在下下周我們就會focus在lecture 13 generative model，並複習Object Detection+Semantic Segmentation的概念。 ## 08/18 - (廷儒) Deeplab: https://arxiv.org/pdf/1606.00915.pdf - (Romin Liu) FlowNet: https://arxiv.org/pdf/1504.06852.pdf - (Eric Chen) Depth Estimation: https://arxiv.org/pdf/1406.2283.pdf - (俊嘉) Squeeze and Excitation: https://arxiv.org/pdf/1709.01507.pdf - (俊瑋) MobileNet: https://arxiv.org/pdf/1704.04861.pdf - (家銓) WGAN: https://arxiv.org/pdf/1701.07875.pdf - (宗致) Adversarial Attack: https://arxiv.org/pdf/1412.6572.pdf 下周廷儒、Romin、Eric幫我準備大概10分鐘的報告。可以練習看一下paper，summarize幾個大重點，說明這篇paper的contribution等等。這幾篇都蠻有名的，如果有看不懂的地方可以先查看看網路上應該會有白話中文or英文解釋，或是可以直接問我們。其他人可以先把paper載下來看一下，應該下下周會是換俊嘉、俊瑋、家銓、宗致，可以先準備一下。