Try   HackMD

Republic of Developer Agenda

如有任何疑問，請寄信連繫我們：info@republicofdeveloper.dev

2021年 主要研討議題

經典論文導讀（2019）

日期 主題 類別 講者 資源
2019.01.04 LeNet - Part I CNN Kevin 論文, demo, 講義
2019.01.11 LeNet - Part II: Back Propagation CNN Kevin 論文, demo, 講義, 錄影
2019.01.18 LeNet - Part III CNN Kevin 論文, demo, 講義
2019.01.25 AlexNet CNN 林俊宇 論文, 講義, 錄影
2019.02.15 ZFNet CNN 蘇嘉冠 論文, 講義, 錄影
2019.02.22 Network in Network CNN 君諦 論文, 講義, 錄影
2019.03.08 GoogLeNet CNN Wesley 論文, 講義, 錄影
2019.03.22 VGGNet CNN Kevin 論文, 講義, 錄影
2019.03.29 ResNet CNN 君諦 論文, 講義, 錄影
2019.04.12 SqueezeNet CNN Kevin 論文, code, 錄影
2019.04.19 實作經驗討論 其他
2019.04.26 RNN / LSTM NLP Erik Apostol textbook, 論文, code, 講義, 錄影
2019.05.03 NLP Basic NLP 君諦 code, 講義, 錄影
2019.05.10 Seq2Seq NLP Jerry 論文, code, 講義
2019.05.17 Seq2Seq with attention NLP 陳明達 論文, code, 講義
2019.05.24 FCN Semantic Segmentation 蘇嘉冠 論文, 講義, 錄影
2019.05.31 YOLOv1 Object Detection Isa, Elisa Chang 論文, 講義(part I), 講義(part II)), 錄影(part I), 錄影(part II), 錄影(part III)
2019.06.14 SSD Object Detection 博儒 論文, 講義, 錄影
2019.07.05 YOLOv2 Object Detection Jerry 論文, 講義, 錄影
2019.06.28 FPN Object Detection Jason Lee 論文, 講義, 錄影
2019.07.26 RetinaNet Object Detection 坤賢 論文, 講義, 錄影
2019.08.16 YOLOv3 Object Detection Jerry 論文, 講義, 錄音
2019.08.23 Faster R-CNN Object Detection CMIND 論文, 講義
2019.09.27 Dropout Regularization 蘇嘉冠 論文, 講義, 錄影
2019.10.25 Batch Normalization Normalization 小七 論文, 講義, 錄影
2019.10.25 Layer Normalization Normalization 博儒 論文, 講義, 錄影
2019.11.01 Momentum Optimization 郭瑞申 論文, 講義, 錄影(PART I), 錄影(PART II)
2019.11.08 Adam Optimization Bill 論文, 講義, 錄影(PART I), 錄影(PART II)
2019.11.29 ConvS2S NLP Yan 論文, 講義, 錄影 (1, 2)
2019.12.13 Transformer NLP 坤賢 論文, 講義, 錄影
2019.12.20 BERT NLP 坤賢 論文, 講義, 錄影

Generative Adversarial Network (2020)

參考資料

日期 主題 類別 講者 資源 簡介
2020.02.21 GAN導讀 GAN Basics 蘇嘉冠 講義, 錄影(1, 2) GAN論文系列的導讀，入門必看!
X GAN (2014) GAN Basics X 論文, 其他同導讀 GAN的第一篇論文，經典中的經典！必讀！
2020.07.10 DCGAN (2015) GAN Basics 蘇嘉冠 論文, 講義, code, 錄影 講述CNN如何用在GAN裡面
2020.07.24 Improved Techniques for Training GANs (2016) GAN Basics 坤賢 論文, 講義, 錄影 提出許多使GAN訓練能穩定收斂的技巧
自行閱讀 Conditional GAN (2014) Conditional GANs X 論文, 其他同導讀 讓GAN能輸入可控制的標記，根據標記來生成內容
自行閱讀 Generative Adversarial Text to Image Synthesis (2016) Conditional GANs X 論文 文字生成圖片！
2020.08.07 Pix2Pix (2016) Conditional GANs 勇伯 論文, 講義, 論文 可訓練影像的對映關係，如灰階影像轉彩階、線條圖生成真實圖
2020.08.21 StackGAN (2016) Conditional GANs 博儒 論文, 講義, 錄影 文字生成圖片，利用兩階段的GAN生成高畫質的圖片
2020.08.28 CycleGAN (2017) Unsupervised Conditional GANs 君諦 論文, 講義, 錄影 不用成對的標記資料，便可以在讓兩個不同domain的圖片互轉
2020.09.04 StarGAN (2017) Unsupervised Conditional GANs 廖婉丞 論文, 講義, 錄影 不用成對的標記資料，便可以在讓多個不同domain的圖片互轉
2020.09.11 WGAN (2017) Advanced GANs 羅宇昇 論文, 錄影 改良GAN的loss定義方式，用Earth Mover’s Distance (又稱Wasserstein Distance)來定義
自行閱讀 Improved WGAN / WGAN-GP (2017) Advanced GANs X 論文 WGAN再改良版
自行閱讀 SN-GAN (2018) Advanced GANs X 論文 提出一種叫做spectral normalization的weight normalization的方法在GAN的訓練上
自行閱讀 Progressive Growing GAN (2017) Advanced GANs X 論文 從小圖生成開始訓練，再慢慢加大尺寸繼續訓練
自行閱讀 SA-GAN (2018) Advanced GANs X 論文, 講義 還記得Transformer的Self-Attention嗎？把它用在GAN裡面
2020.11.13 BigGAN (2018) Advanced GANs 蘇嘉冠 論文, 講義, 錄影 將各種方法集結起來，例如Self-Attention, Spectral Normalization, Conditional GAN
2020.11.27 StyleGAN (2019) Advanced GANs 郭瑞申 論文 將所謂的Adaptive Instance Normalization (AdaIN)引入

One-Shot/Few-Shot Learning

參考資料

日期 主題 類別 講者 資源 簡介
2015-Siamese Neural Networks for One-shot Image Recognition Wilson Ho 論文 通過孿生網路學圖片特徵，然後在不重新學習直接複用網路輸出的特徵
2016-Learning to learn by gradient descent by gradient descent Wilson Ho 論文
2016-One-shot Learning with Memory-Augmented Neural Networks 論文 記憶增強神經網絡具有快速吸收新數據知識的能力，並且能利用這些吸收了的數據，在少量樣本的基礎上做出準確的預測
2016-Low-shot Visual Recognition by Shrinking and Hallucinating Features 論文 Low-shot也叫做lifelong learning，一般分為base category和novel category，其中novel category每類只有少量樣本（K-shot），希望模型在測試集上的base category和novel category都表示很好
2017-Optimization as a model for few-shot learning Wilson Ho 論文
2017-Matching Networks for One Shot Learning Wilson Ho 論文 基於小樣本去學習歸類（或者別的任務），並且這個訓練好的模型不需要經過調整，也可以用在對訓練過程中未出現過的類別進行歸類
2017-One-Shot Imitation Learning 論文 一眼模仿學習，可以說是機器人學習的一個比較終極的問題，最理想的情況就是我們人教機器人一個任務，我們稍微演示一下，機器人就能學會！一旦機器人具備這樣的模仿學習能力，機器人就具備了非常強大的通用性，也非常類似我們人類的學習過程，可以說是機器人智能的一大進步
2017-Prototypical Networks for Few-shot Learning Wilson Ho 論文 對於分類問題，原型網絡將其看做在語義空間中尋找每一類的原型中心。學習一個度量函數，該度量函數可以通過少量的幾個樣本找到所屬類別在該度量空間的原型中心。測試時，用支持集中的樣本來計算新的類別的聚類中心，再利用最近鄰分類器的思路進行預測
2018-Learning to Compare_Relation Network for Few-Shot Learning Wilson Ho 論文
2017-Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks Wilson Ho 論文 MAML
2018-Zero-Shot Object Detection 論文
2018-One-Shot Instance Segmentation 論文 本論文提出SiameseMaskRCNN，給一個之前沒有見過的新的類別的物體, 然後要在一些query images中分割出這個類別的所有物體
2018-Dynamic Few-Shot Visual Learning without Forgetting 論文
2018-Meta-Transfer Learning for Few-Shot Learning 論文
2018-Deep Reinforcement One-Shot Learning for Artificially Intelligent Classification Systems 論文
2018-On First-Order Meta-Learning Algorithms Wilson Ho 論文 Reptile
2019-Image Deformation Meta-Networks for One-Shot Learning 論文
2019-Meta-Transfer Learning for Few-Shot Learning 論文
2019-Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning 論文
2019-LCC: Learning to Customize and Combine Neural Networks for Few-Shot Learning 論文
2019-Finding Task-Relevant Features for Few-Shot Learning by Category Traversal 論文
2019-Generalizing from a Few Examples_A Survey on Few-Shot Learning Wilson Ho 論文

Stanford cs231n (2019)

本系列以 Stanford cs231n 為內容參考

日期 主題 講者 資源
2019.03.29 Lecture 1 - Course Introduction Scott Lin 講義, 錄影
2019.04.12 Lecture 2 - Image Classification Jason Lee 講義, 錄影
2019.04.19 Lecture 3 - Loss Functions and Optimization 嘉冠 講義, 錄影
2019.04.26 Lecture 4 - Introduction to Neural Networks Scott Lin 講義, 錄影
2019.05.03 Lecture 5 - Convolutional Neural Networks Jason Lee 講義, 錄影
2019.05.10 Lecture 6 - Training Neural Networks, part I 李詩欽 講義, 錄影
2019.05.17 Lecture 7 - Training Neural Networks, part II 翁堉珊 講義(講者) 講義(官方)
2019.05.24 Lecture 8 - Deep Learning Software 林志龍 講義, 錄影
2019.06.14 Lecture 9 - CNN Architectures Vincent 講義(官方), 錄影
2019.06.21 Lecture 10 - Recurrent Neural Networks 蘇嘉冠 講義, 錄影
2019.06.28 Lecture 11 - Detection and Segmentation 博儒 講義, 錄影
2019.07.05 Lecture 12 - Visualizing and Understanding Wilson 講義, 錄影
2019.07.26 Lecture 13 - Generative Models Wilson 講義, 錄影
2019.08.02 Lecture 14 - Deep Reinforcement Learning 翁堉珊 講義(官方), 講義(講者)
2019.08.23 Guest Lecture - Efficient Methods and Hardware for Deep Learning 郭瑞申 講義
2019.09.06 Guest Lecture - Adversarial Examples and Adversarial Training 君諦 講義

Stanford cs224n (2019~2020)

本系列以 Stanford cs224n 為內容參考

日期 主題 講者 資源
2019.10.18 Lecture 1: Introduction to NLP and Deep Learning 嘉冠 講義, 補充, 錄影
2019.11.01 Lecture 2: Word Vector Representations: word2vec Yan 講義, 補充, 錄影
2019.11.08 Lecture 3: Word Window Classification, Neural Networks, and Matrix Calculus Patrick 講義, 錄影(PART I), 錄影(PART II)
自行閱讀 Lecture 4: Backpropagation and Computation Graphs 自行閱讀 講義
2019.11.22 Lecture 5: Linguistic Structure: Dependency Parsing 勇伯 講義, 錄影 (1, 2, 3, 4), 講者補充包(code,pdf等)
2019.11.29 Lecture 6: The probability of a sentence? Recurrent Neural Networks and Language Models 博儒 講義, 錄影 (1, 2)
2019.12.06 Lecture 7: Vanishing Gradients and Fancy RNNs 博鈞 講義, 錄影(1, 2, 3), 講者補充
2019.12.13 Lecture 8: Machine Translation, Seq2Seq and Attention 君諦 講義, 錄影
2020.01.03 Lecture 9: Practical Tips for Final Projects 博儒 講義, 錄影 (1, 2)
2020.01.03 Lecture 10: Question Answering and the Default Final Project 嘉冠 講義, 補充, 錄影
2020.01.17 Lecture 11: ConvNets for NLP 勇伯 講義, 錄影(1, 2, 3, 4), 講者補充包
2020.02.14 Lecture 12: Information from parts of words: Subword Models 郭瑞申 講義(講者), 講義(官方), 錄影
2020.03.13 Lecture 13: Modeling contexts of use: Contextual Representations and Pretraining 博鈞 講義 , 錄影
2020.03.20 Lecture 14: Transformers and Self-Attention For Generative Models 郭瑞申 講義 , 錄影
2020.04.10 Lecture 15: Natural Language Generation 勇伯 講義, 講者補充包, 錄影
2020.04.17 Lecture 16: Reference in Language and Coreference Resolution 嘉冠 講義, 錄影 ,講者補充包
2020.05.08 Lecture 17: Multitask Learning: A general model for NLP? 博鈞 講義, 錄影
2020.05.15 Lecture 18: Constituency Parsing and Tree Recursive Neural Networks Vivian Ou 講義, 錄影
2020.05.22 Lecture 19: Safety, Bias, and Fairness 嘉冠 講義, 錄影
2020.07.03 Lecture 20: Future of NLP + Deep Learning 郭瑞申 講義

Theory of Generalization and Optimization in Deep Learning (2021)

日期 年份 主題 講者 資源
2021.01.08 2019 Fine-Grained Analysis of Optimization and Generalization for Over-parameterized Neural Networks Mark Chang 論文, 講義
2021.01.22 2019 Gradient Descent Provably Optimizes Over-parameterized Neural Networks Mark Chang 論文
2021.02.05 2018 Neural Tangent Kernel: Convergence and Generalization in Neural Networks Mark Chang 論文

Neural-Symbolic AI

日期 年份 主題 講者 資源

Domain Adaption

日期 年份 主題 講者 資源
2020 A survey on domain adaptation theory: learning bounds and theoretical guarantees Mark Chang 論文

Inverse Reinforcement Learning

日期 年份 主題 講者 資源
2021.05.07 2004 Reinforcement Learning & Optimal Control 坤賢
2021.05.21
2021.06.04		 2008 1. Apprenticeship Learning IRL
2. Maximum Entropy IRL		 坤賢 論文1
論文2
2021.07.02 2016 Guided Cost Learning 郭瑞申 論文
2021.07.30 2016 A Connection between Generative Adversarial Networks, Inverse Reinforcement Learning, and Energy-Based Models 郭瑞申 論文

Knowledge Graph and its Applications for NLP

日期 年份 主題 講者 資源

參與者技術經驗交流

日期 主題 講者 資源
2019.01.11 ECG Classification with CNN 君諦 講義, 錄影
2019.03.22 Introduction to Deep Learning Wilson Ho 講義
2019.04.19 computer vision and how to create own image dataset Elisa Chang
2019.06.21 AI視力檢測 Scott Lin
2019.07.19 Chatbot開發經驗分享 Wilson Ho 講義 ,錄影1 ,錄影2
2019.08.30 Intel OpenVINO 王宗業(Intel平台研發經理)
2019.12.27 圖解物件偵測之Why, How, What - From OverFeat to WSMA-Seg Wilson Ho 錄影(1, 2),
2020.06.05 圖解一階段物件偵測 - Part1 Wilson Ho 錄影
2020.06.12 圖解一階段物件偵測 - Part2 Wilson Ho 錄影
2020.06.19 圖解一階段物件偵測 - Part3 Wilson Ho 錄影
2020.07.17 2020 科技大擂台比賽經驗分享 CMIND, 冠廷, 嘉冠 講義, 錄影
2020.08.14 Self-Constructing Fuzzy Neural Network and Differential Evolution Algorithm for Implementation of Parameter Estimation 張明弘 錄影
2020.09.25 What's Wrong with Deep Learning? Lessons from Gary Marcus 嘉冠 講義, 錄影
2020.10.16 Risk Bound for Interpolated Models Mark Chang 論文, 講義, 錄影
2020.11.06 Optimization and Generalization for Over-parameterized Neural Networks Mark Chang 論文, 講義
2020.12.04 圖解 Meta-Learning for Few-Shot Learning Wilson Ho 論文
2021.02.19 2020 Study on Reinforcement Learning: Drivers, Restraints & Opportunities 謝其宏 論文, 講義, 錄影
2021.03.12 Graph Neural Network : Introductions Models and Applications Part I Berlin Cho 講義, 錄影1 錄影2
2021.03.26 Big Bird: Transformers for Longer Sequences 冠廷 論文, 講義, 錄影
2021.04.09 Graph Neural Network : Introductions Models and Applications Part II Berlin Cho 講義, 錄影

參考資源

Last changed by 
 
蘇嘉冠
0
16
30474

Read more

CS224N (2019) Lecture 1 Further Readings

Dec 29, 2019
Read more from 蘇嘉冠
Published on HackMD