Toward Subgraph Guided Knowledge Graph Question Generation with Graph Neural Networks KG @article{chen2020toward, title={Toward subgraph guided knowledge graph question generation with graph neural networks}, author={Chen, Yu and Wu, Lingfei and Zaki, Mohammed J}, journal={arXiv preprint arXiv:2004.06015}, year={2020} } 過去使用KG進行問題生成任務時，通常只會取出資料與關係的三元組合，並不能完整利用KG中豐富的資訊，本篇論文中作者基於Graph Neural Networks提出了Bidirectional Gated Graph Neural Network(BiGGNN) ，將KG中的node及edge編碼成向量，使得每個node都包含了周圍其他node的資訊，並對答案的node進行標註，隨後透過RNN進行問句生成，生成過程中RNN會決定生成新文字或直接複製某個node的資訊放進問題。

ColBERT Efficient and Effective Passage Search via Contextualized Late Interaction over BERT 藉由fine-tuning deep LMs能夠使NLU中的IR快速發展，雖然效果很好，但這些基於LMs的ranking models比以往的方法增加了好幾個量級的計算成本，特別是在計算每個query與document間的relevance score時。 本篇論文作者提出了ColBERT，引入late interaction架構，對query與document進行獨立的encoding，再以低成本且強大的interaction step來模擬他們的fine-grained similarity。同時在document的處理也獲得了離線預計算的好處。 Automatic True/False Question Generation for Educational Purpose 有別於過往的是非題，將文章中原始句子作為True的問句並通過反義詞替換關鍵字生成False問句，本篇作者通過使用一種新穎的masking-and-infilling策略來生成更靈活與複雜的問句。要被mask的關鍵字找法有很多種，像是SRL結果中的predicate，句子中連接詞("that"、"when"、"since")之後的部分或是數字等等，來找出值得提問的句子。Infilling的作法則是以BART為基底作為生成模型，將原始句子的關鍵字mask後，提供前後句子作為BART的上下文後產生句子填入。 作者為了找值得提問的句子所提出的方法亦可用來作為多選題產生題目的答案選擇方法，而infilling的想法如果使用得宜，在提供出題範圍的前後文後，也能將欲出題句子挖空讓BART模型填補後產生選項。

在這個章節我們探討現今與我們相關的研究，這些研究大致可以分為兩類，反事實敘述生成和誤導推論生成 反事實敘述生成(Counterfactual Generation)\newline 反事實敘述在許多實際應用中佔有一席之地，例如加強一個模型對於減少系統空缺(systematic gap)的能力，或是加強自然語言對於生成出的反事實敘述的推論，另外也可以用反事實資料的擴增消除性別刻板印象。 近幾年來，提出了用神經網路生成反事實敘述的概念，這個概念背後的想法是同時使用語言模型和各種採樣的策略來達成生成反事實敘述的效果。傳統反事實敘述生成的任務目標為根據一事實敘述來生成對應的反事實敘述，但在我們的研究目標中，不單只是從原本的句子生成，我們希望在生成反事實敘述的同時也要參考文章的資訊，所以之前對於生成反事實敘述的手法無法應用在我們的MIG任務中，並且在實驗的部分顯示了直接使用先前的手法生成反事實敘述的效果不佳。 在Polyjuice: Automated, general-purpose counterfactual generation這篇論文中，作者提出了使用\emph{Polyjuice}架構來生成多樣的反事實敘述，此架構可以控制輸出的反事實敘述的類型，但是\emph{Polyjuice}依然只是一種傳統方法的加強方法，沒辦法適用在我們的MIG任務中。 另外一種生成反事實敘述的方法是用錯誤選項生成的手法，錯誤選項生成的目標是給予了一篇文章、問題和正確答案後，模型能夠生成似是而非的錯誤選項，Distractor generation for multiple choice questions using learning to rank這篇研究是研究使用神經網路來生成錯誤選項的先驅，A bert-based distractor generation scheme with multi-tasking and negative answer training strategies這篇論文延續了前者的成果，把重點放在生成複數的錯誤選項並提出了一個負樣本學習策略(negative training strategy)來加強錯誤選項生成的效果。錯誤選項生成的任務設定與應用與我們的MIG任務不同，所以錯誤選項生成的手法無法應用於我們的任務中。

資料集 在實驗中可使用的資料集為CLOTH、MCQ、SCDE和RACE。在CLOTH資料集裡蒐集了由老師出的word-level克漏字題目。MCQ資料集是由網路上各專業領域問題的克漏字資料集所組成的，領域內容包含了自然科學、單字測驗、生活常識和日常小知識。在SCDE資料集中是由選項是sentence-level的多選題題目所組成，且題目的架構類似於學測的文意選填題組，一篇文章會有多個空格，同一篇文章中的題目共用一組干擾選項。在RACE資料集中與SCDE相似都是由sentence-level的干擾選項所組成，但與之不同的是，問題的架構不是克漏字的類型而是閱讀理解的類型。我們的實驗目標為生成word-level的干擾選項，所以我們選用了CLOTH和MCQ來對模型進行訓練和評估 選項生成 我們生成選項的方法可以分成兩類，克類字類型干擾選項生成和閱讀理解干擾選項生成。 在克類字類型干擾選項生成中，實驗任務可視為一個填空問題。填空問題第一個步驟通常是從文章或一些知識庫中萃取出干擾選項，第二步是要排序這些選項並當成最後的結果。這種方法的模型通常是用啟發式或自我監督式的方法進行訓練，產生出的克漏字干擾選項主要是word或phrase level。 在閱讀理解干擾選項生成裡，產生出的sentence-level干擾選項主要是針對閱讀測類型的題目，像是抓取一篇文章的摘要或是揣摩作者的意思。通常在產生sentence-level的干擾選項時會使用神經網路的模型。 在這些相關的研究中，實驗[1]與我們的實驗最相關，實驗[1]採用了candidate-and-ranking的策略並且在實驗數據上達到了克漏字干擾選項生成任務的SOTA。在前面提到了我們使用了兩種方法來超越現今的SOTA結果，第一種是使用了cloze gap selection，第二種是我們在candidate-and-ranking架構中使用了神經網路。在我們的實驗數據中，在克漏字干擾選項生成任務中比現今SOTA的成果的P@1分數高了10.58到21.23，為了更清楚的比較，我們在表2.1中總結了各種干擾選項生成的實驗結果。 簡介:

SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval 本篇論文在open domain question answer ing中提出了新型的算分方式，在訓練上作者會分別以token level的格式使問題和答案間進行分數計算，最終產生出一個能讓正確答案要較高分數的算分器 當使用者在使用前可以預先將大量的問題和答案對模型進行分數比較，最終每個token會產生一系列對應適當的答案候選 爾後使用者在詢問問題時能快速從各個token中找到各自的答案候選，交集之後就會產生最終答案，此查找過程完全不需要經過模型的運算，因此可以快速的回傳答案 在產生distractor的任務中SPARTA要有相應的資料集才能達成任務，但在提升使用時速度上他能提供很多的幫助 PAQ 在這篇論文中作者分別提出了PAQ一種能大量產生資料的機制，以及RePAQ一種能處理這大量資料的retriever，在PAQ中作者修改以往使用問題從文章中尋找答案的機制，改為用文章中可能的答案去尋找問題，再由問題去尋找答案，最後比對兩個答案是否相同，藉此來讓機器學習到自主的從文章中找到問答對(q,a)的能力 在RePAQ中作者使用了傳統的MIPS方式，卻將以往由q和a進行分數比較的機制，改為使用q 來檢索PAQ中提出的大量(q',a')以有效的利用PAQ提供的資源，最終由檢索到的 QA 對生成一個答案，然後通過邊緣化生成最終答案 我們認為PAQ在創造distractor這件事是有困難的，因為他無法知道一個答案是錯誤但與答案相近不遠的情況，當然如果能開發出一種能順利產生distractor的機制，再利用RePAQ進行輔助這將能大大提升我們的語料庫生產效率

先由人工給定一個主題，程式使用該主題名稱的維基百科頁面作為起始點(例如人工給定"體育"，就去搜尋體育的維基百科)，遞迴搜尋子條目(遞迴深度為4)，保留每日超過800人觀看的文章並取出文章的第一段擷取摘要，由此產生非常多的句子。並將這些句子依單純英文文法規則生成簡單5W問句與答案，例如who問句是將第一個動詞前的名詞作為正確答案並從句子中移除，what問句是將第一個夾在動詞間的名詞移除作為正確答案並從句子中移除，移除答案後的句子再帶入問題模板生成制式問句。生出五種問句後再依英文文法的詞與詞的相關性去決定哪個問句最適合。 在干擾選項生成的部分，先隨機選取其他句子所產生的答案，由RoBERTa去rank與問題的相關性，取前三高當成distractor。 由此方法能只給定任何一個主題，就能生成許該領域的多選題的訓練資料來fine-tune UnifiedQA(base model)。

Revealing the importance of Semantic Retrieval for Machine Reading at Scale 本篇論文主要在說明不同級別語義檢索的重要性。作者提出一個簡單而有效的pipeline系統，研究段落和句子級別語義檢索及其對下游任務的潛在影響，作法上是先檢索段落級別的段落，然後從上一步檢索後取得的段落中再去檢索句子級別的段落。該系統在事實驗證(fact verification)和開放域多跳QA(open-domain multi-hop QA)方面進行了評估，實驗結果顯示QA任務更依賴上游段落級檢索，而事實驗證(fact verification)任務更依賴上游句子級檢索。 個人想法 : open domain distractor generation與本篇的QA任務都是在open domain，或許在訓練上也可以透過段落與句子級檢索來達到更好的效果。

REALM: Retrieval-Augmented Language Model Pre-Training 由於多數語言模型在處理自然語言任務時需要大量的神經網路及參數，因此作者提出一個較輕量的預訓練模型，使得模型能夠從維基百科等大型語料庫中檢索和處理文件，在預訓練、微調下游任務和推理的過程中使用。 本篇論文使用BERT對open domain question answering這個任務做fine tune，在預訓練中的檢索端使用非監督式的masked language model(MLM)來實作，並在mask的部分使用salient span masking，也就是mask一個命名實體，並在訓練的過程中先對所有的文件做embeding，並使用最大內積搜尋演算法來查詢並檢索出top-k的文件，由於在訓練過程中模型的參數會改變，使得之前對所有文件做的embeding不能使用，因此作者會在每500回合更新一次。由實驗可知作者使用較少的參數量就能有較好的效果在使用NQ、WQ、CT資料集上實作open domain question answering這個任務，相較於ORQA、T5等模型提升4~6個分數點。 個人想法: 論文中提到的salient span masking方法在預訓練階段，使模型在最後的實驗中有所提升，因此我想也許這個方法也能用在open domain distractor generation中，在BERT中使用具有意義的命名實體做mask，也許在生成專有名詞的錯誤選項能有所幫助。

DPR 該篇論文為了解決傳統bm25無法檢索語意相似段落的問題，提出了Dense Passage Retrieval，該方法不須進行額外的預訓練任務即可有優秀的性能，作者認為選擇正確的負相關段落能大幅影響模型檢索的性能，所以測試在訓練時使用不同的負相關段落，以及使用in-batch negative的技術，在密集向量的檢索取得了state-of-the-art 在生成distrator時，好的distrator通常會與答案高度相關，在DPR的訓練中，目標是把真正相關的段落(positive passage)與完全不相關(gold negative)及在BM25高度相關的段落(BM25 negative)區分開來，若進一步將gold negative及BM25 negative之間也進行訓練，使模型能對positive passage / gold negative / BM25 negative進行分群，對於萃取distrator將有一定幫助 GAR 傳統基於bm25的檢索無法檢索沒有單詞重疊或語意相似的段落的問題，而基於密集向量的檢索方式在計算上又過於複雜，且會有資訊損失的問題，該論文透過PLM(pretrained language model)自動生成與查詢語句相關的內容，可增加查詢語句的資訊量，隨後透過bm25進行檢索，該方法比起傳統bm25能檢索到更精確的段落，且執行效率也快於基於密集向量的檢索方式，在odqa上取得了state-of-the-art，且可簡單的與密集向量的檢索方式組合取得更好的準確度。 透過GAR中的PLM可對查詢語句的資訊進行補充，原論文中是補充答案、相關段落及段落標題，可基於該手法讓PLM生成問題與原始答案的關聯，對這些關聯進行組合或刪除即可檢索與原答案有相似關係的查詢語句，可檢索到適合製作distrator的相關段落

Latent Retrieval for Weakly Supervised Open Domain Question Answering 本篇論文在open domain question answering中的retreiver端提出了一個有效率的弱監督式學習的方法(Inverse Cloze Task)來對retreiver進行預訓練，給予模型完全無人工標記的維基百科原始資料，藉由論文中的方法將資料切分成固定長度的段落，並隨機選取其中的一個句子當作標籤，讓模型去學習如何從給定的句子去資料庫中找尋與之最相關的文章。在實驗數據中此方法訓練出的ODQA模型分數高於傳統的BM25檢索方法，並提出了squad資料集因其10筆問題與答案僅出自於536篇參考資料，所以並不適合用於訓練ODQA的retreiver端。 個人想法 : 在nlp的訓練中，squad很常被當成是訓練資料，但是如果要應用於open domain distractor generation，需要考慮其他合適的資料集，例如medQA。 Relevance-guided Supervision for OpenQA with ColBERT 本篇論文在ODQA的retreiver端以ColBERT當基礎模型，使用了Relevance-guided Supervision(RGS)的方法來訓練retreiver的模型。相較於傳統的retreiver訓練資料，傳統方法多使用人工標註的訓練資料，但作者認為人工標住資料往往存在偏見，進而影響模型的效能，所以在論文中提出了用訓練好的模型來找尋最適合的訓練資料，並把這些資料用於訓練下一個模型，使用這個方式來進行一層一層的訓練，最後得出最佳的retreiver模型。此方法訓練出的模型分數明顯高於目前open domain的其他方式，並在使用參數量較少的BERT模型當reader的情況下，分數與使用了參數量4倍的BART當作reader的RAG不相上下。 個人想法 : 在找尋訓練資料時，模型會先搜尋前k筆資料，並把前20筆資料中含有short answer的資料當成possitive example，而前20筆以外剩餘的資料中不含有short answer的資料當成negative example，此方法尋找的負面訓練資料交由reader進行預測能得到與正確答案相關的錯誤答案，如能稍加改良ranking的方式，應用於錯誤選項生成，就能產生出許多有難度的錯誤選項。