###### tags: `paper進度` # 8/16 paper進度 這周因為黑克松有要我跟幾個人實作paraphasing的任務 所以根據我要做的項目讀了1篇unsupervised paraphasing generation ## 1.UNSUPERVISED PARAPHRASE GENERATION USING PRE-TRAINED LANGUAGE MODELS https://arxiv.org/pdf/2006.05477.pdf(arxiv 2020/7 ) ### 方法解釋 因為對paraphasing不熟 所以先讀了一篇比較入門等級的 是用gpt做的 作法蠻簡單的 就是先把input的stop words拔掉 然後隨機取20趴的字替換掉 替換掉的稱為source 沒替換過的稱為target 再把source跟target 中間隔個[SEP]然後concate 在一起 確保paraphasing是否符合原意的方法就是計算2者間的cos simarity ### 感想: 因為一開始對paraphasing沒什麼概念 所以google到一篇蠻入門的 加上這篇有附source code 所以應該可以當成我們這次黑克松使用的model **Note: 這篇的確手法蠻簡單的。一個小提醒是arvx上的文章品質不一，arvx是沒審查機制的，任何人想發表都可以。黑客松打算如何使用？中文如何處理？能否找個時間讓我了解一下黑客松目前狀況？** ------------ ------------ 還有讀一篇IR解open domain QA的: ## 2.Generation-Augmented Retrieval for Open-Domain Question Answering(GAR) https://arxiv.org/pdf/2009.08553.pdf ### 方法解釋 是透過Generator(bart)生成一個問題的:1.答案2.可能包含答案的片段3.可能包含答案的title。直接把生成的東西append在問題上 然後丟給Retriever(Anserini 似乎是BM25的延伸)來找答案 本身的效果已經超越DPR一些了 另外也可以把retriever替換成DPR 效果就會優於DPR 2~3%。 生成答案的部分 給我的感覺就像是先透過bart去找 當然效果不會是太好 但就可以當作是retriever的參考結果(因為即使生成的答案是錯的 應該也會是跟實際上的答案蠻有關聯 所以會加強搜尋結果) ### 感想 這篇有提到他用heuristically discover without any external supervision的方式找出了上面提到的3個生成方式 但我在論文中並沒有看到他特別提到具體是用了哪種啟發式找法 或許是我對這個詞有所誤解 就算是直接透過人思考出來的也算是啟發式找法嗎? 這篇的使用方法讓我聯想到了"prompting" 的技術 就是更改input的格式成某些特定的格式來讓model更加理解input 這種技巧可以延伸到大多數的任務上 是我接下來會研究的方向(底下碩論方向會提到) **heuristically通常泛指沒太多理論依據，也說不出來效果為何會提升的做法。啟發式這個詞太過美化，我覺得講經驗式觀察式比較貼切 (based on what is experienced or observed rather than on theory) ** **My comment: GAR的做法是不是跟先前晚上報告過的論文接近？有記得有一篇也是類似的做法。(自然語言生成可以拿來幫助IR與QA)這樣的想法很有Novelty，畢竟兩種研究乍看不太相關。我們做研究有時候會突發其想把兩種不同領域的技術湊在一起，如果可以講得出一番道理，再加上實驗驗證，其實就是很棒的研究，而且會很吸引人。** # 碩論方向: 我這禮拜還有稍微研究了一下"prompt" 一方面是浩霖有跟我提到這東西可以用來強化我們工研院做的model 一方面是看到自己關注的論壇也剛好有在介紹這個東西 感覺是個蠻新的任務 有蠻多的潛力 但因為論文本身蠻扎實 這禮拜已經先讀了些paraphaing的paper 有點來不及在禮拜一前讀完prompt的paper所以打算延到下禮拜研究並介紹給老師 。 意外的是 我是先找到GAR 才聽說到有prompt這個東西的存在(應該稱呼為概念) 結果細讀GAR的paper後發現跟prompt的概念很像 果然就在paper看到作者有提及prompting的字眼 所以讓我對prompt的領域又在更好奇了 畢竟我自己是覺得這種相較之下沒太硬核技術 但是效果卻出奇的高並勝過那些硬核的 可能會比較受conference青睞 況且我自己也沒太多的知識背景能靠底子贏過其他人 那或許這種技術會是我可以研究的方向 至於老師您上禮拜給我的意見我都有思考過 也覺得除了博鈞的之外 顯詠的感覺也蠻好用對比學習下去做 但我近期應該就是會多探索其他的領域 想先都稍微接觸一些 之後再來專研某一特定領域 **Re: 我不確定你指的prompt是不是類似GPT3那種Few shot learning作法。我第一次看到GPT3 Prompt時，是覺得頗驚訝。手法簡單到傻眼。但感覺Prompt有效果都是來自於語言模型的能力，但我們難以從事語言模型的基礎改善。** **我從GAR延伸一個想法：也許可以仿照GAR，來改善Question Generation(QG)效果。現有QG技術只能在給定的內文中，根據內容生成問句。但這種問句都太過簡單(答案就在內文中，且多數時候是肯定句改成疑問句的生成結果。) 如果我們用BART根據內文C去衍生出內容多一點的C'，再根據C'來做QG，應該可以解決目前QG生成結果太簡單的問題。但這樣手法的關鍵點可能在於要能檢測衍生的內容是不是亂生的。忽然想到這個想法可供你參考。 **