CURL : Contrastive Unsupervised Representation Learning ジェラートの賭け 2015年の最初の秋の日 (9/23)までにPascal VOCの物体検知タスクにおいて(例えばImageNet等の)特別な人間によるアノテーションデータによる事前学習を用いる R-CNN を倒す刺客が現れたらMr. マリックはEfros氏にジェラートを奢ることを約束する(注: チョコレートとバニラの2段) R-CNNはPASCAL VOCデータセットについてCVPR2014で優れた結果を見せつけた(arXiv:1311.2524). PASCAL VOCデータセットはCNNを訓練するには少なすぎるので, ImageNetで事前学習した上でPASCALでファインチューニングした(注:転移学習 transfer learning は出力層のみを新しいデータに対して学習する. ファインチューニング fine tuning は全ての重みを再調整する. ). これは奇妙であるという. ImageNetとPASCALはラベルもその傾向も全く異なるデータである. なぜ性質の異なるデータでの事前学習に効果があったのか? 実はImageNetのラベルではなく画像が必要だったのではと. 科学的な問い:意味論的(semantic)な教師が良い表現を獲得するために必要なのか?そもそもPASCALに対して事前学習が必要ないかもしれないが(arXiv:1708.01241), この賭けはICCV15から勃興した自己学習 self-supervised learningという流れを産んだのかもしれない. ボスと賭けをするときはよく考えてからやれよ! 彼はこの賭けには負けるわけだが...
5/13/2020Yilun Du1,2, Igor Mordatch2 1MIT 2Open AI [Paper] [Code] [Page] [Slide] NeurIPS 2019 (Spotlight) NeurIPS 2018 Workshop on Bayesian Deep Learning 続編 ICLR 2020 Reject :cry:
5/12/2020Geoffrey Schiebinger1,11 Jian Shu1,2 Marcin Tabaka1 Brian Cleary1,3 Vidya Subramanian 1, Aryeh Solomon1 Joshua Gould1 Siyan Liu1,15 Stacie Lin1,6 Peter Berube1 Lia Lee1 Jenny Chen1,4 Justin Brumbaugh5,7,8,9,10 Philippe Rigollet11,12 Konrad Hochedlinger7,8,9,13 Rudolf Jaenisch2,3 Aviv Regev1,6,13 and Eric S. Lander1,6,14 1Broad Institute of MIT and Harvard 2Whitehead Institute for Biomedical Research 3Computational and Systems Biology Program, MIT 4Harvard-MIT Division of Health Sciences and Technology 5Cancer Center, Massachusetts General Hospital 6Department of Biology, MIT 7Department of Molecular Biology, Center for Regenerative Medicine and Cancer Center, Massachusetts General Hospital 8Department of Stem Cell and Regenerative Biology, Harvard University
4/30/2020or
By clicking below, you agree to our terms of service.
New to HackMD? Sign up