###### tags: `paper進度` # 8/9 paper進度報告 這禮拜我讀的paper是 - "SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization" 這是ACL2021的 簡稱SimCLS https://arxiv.org/pdf/2106.01890.pdf ## 讀此篇的原因  之所以會選擇SimCLS是因為這篇是使用Contrastive Learning 我自己覺得對比學習似乎是個不錯的方向所以一直想研究看看  但因為大部分應用對比學習的篇幅以及數學式子都很龐大 看得蠻眼花的 剛好這篇蠻少頁就覺得蠻適合給我入門用  原本也因為篇幅太小不適合做為meeting用所以沒去讀它 剛好有這個機會。 本篇paper主要是想改善訓練和測試時 目標函數和評價指標不一致的問題 其他paper比較常見的方法就是用RL解決 而不想用RL的原因在於RL本身還是存在這本質上的問題 就是noise gradient estimation 會導致對超參數太過敏感以及不穩定 而這裡就是用對比學習 ## 方法 SimCLS是一個生成摘要任務 概括就是先用bart去做產生候選的 summaries 再用roberta利用對比學習去做scoring預測候選的summaries的分數 對比學習的部分就是拿原始文檔(reference summaries)跟生成的候選summaries去做對比 並引用一個rank loss:希望預測值和真實值接近 並且每個候選之間有差距。 ## 感想 讀完的感想是雖然這篇是拿來做生成摘要 但感覺也可以應用在生成題組上 另外區分成生成以及評估這2個階段這種把model內部任務(eval)分開來的我之前沒有看過 大部分都是額外做一個可能先分類再生成這種單純結合2種任務的方式 而且一般如果是要應用對比學習 通常都是直接把model output predict後接上對比學習 這邊是額外把他拉出來 覺得對比學習會是個不錯的碩論方向 因為比較常聽到都是利用強化學習 基因演算法(也可能單純是我見識少)但擔憂的點是我自己會定期關注大陸知乎NLP社團 覺得它們那邊對比學習似乎蠻熱門的(這篇paper也也是我看到別人在知乎推薦的) 所以就會擔心僧多粥少的狀況 想請問老師對於這個方向的看法 ## Re: 1. 對比學習的引入感覺可以把我們實驗室之前做過的題目(QG, distractor generation or question group generation)，再重解一次。新的觀點帶來新的解法。我直覺的感覺(不確定對不對，因為我對對比學習不是太熟)是否可以取代negative loss (顯詠、Eric、柏鈞的論文都有用到這個技巧)。先前他們的作法就是把positive loss與negative loss加起來成為一個total loss，是不是有可能引入對比學習來訓練，而不要單純就是loss加起來這樣。 2. 你說得對！感覺柏鈞的question group generation似乎也可以用上這個技巧。也就是拿BART來生題組，然後也許引入一個多選題QA模型來評估，之後引入對比學習。 3. 我覺得對比學習應該還算新，拿它來做在我們lab曾經解過的問題，應該還是有機會一拼。建議可以冒險試試看，我們Lab並不會因為做出失敗結果就沒辦法畢業。 4. 結合IR，除了是我專長外，如同我上課提過，未來一定是深度學習跟IR整合出下一世代的搜尋引擎，而且我認為IR才是有實際商用價值，目前的DL都是demo好看，願意掏錢的第一線使用者不多。IR方向不錯，但是實驗室過去比較少經驗，可以開拓看看。起始點的話可以先從Open domain QA來做摘要試試。 5. 數學式多看久了有時候就會理解，我覺得不用擔心這塊，除非用到很多統計的理論，不然應該不至於看不懂。 ## 碩論方向 除了這篇以外 我還有讀其他方向的paper 但都只有大概掃過去知道在幹嘛就不特別描述 目前我個人傾向的大方向就是生成 但覺得如果是只是傳統生成然後前後接一些額外任務像分類之類的 我會覺得蠻難被accepted 因為感覺已經被大家發揮創意的蠻徹底的 蠻難辨出新把戲 我傾向的小方向是IR以及對比學習 就是利用這2個東西來改善生成的效果之類的 會選IR的原因是因為目前看下來感覺相對較少人做的題目 加上老師之前的專業領域就在這裡 所以覺得會是個不錯的方向 有看到一些paper是利用IR來提高生成品質 又或是利用生成來做IR增強效果的 這幾篇可能我接下來幾個禮拜會介紹給您 對比學習的部分 就想請教老師的看法 覺得會不會太困難(數學函式偏多且醜) 以及會不會很多人再做