顯永 related work === 在這個章節我們探討現今與我們相關的研究，這些研究大致可以分為兩類，反事實敘述生成和誤導推論生成 反事實敘述生成(Counterfactual Generation)\newline 反事實敘述在許多實際應用中佔有一席之地，例如加強一個模型對於減少系統空缺(systematic gap)的能力，或是加強自然語言對於生成出的反事實敘述的推論，另外也可以用反事實資料的擴增消除性別刻板印象。 近幾年來，提出了用神經網路生成反事實敘述的概念，這個概念背後的想法是同時使用語言模型和各種採樣的策略來達成生成反事實敘述的效果。傳統反事實敘述生成的任務目標為根據一事實敘述來生成對應的反事實敘述，但在我們的研究目標中，不單只是從原本的句子生成，我們希望在生成反事實敘述的同時也要參考文章的資訊，所以之前對於生成反事實敘述的手法無法應用在我們的MIG任務中，並且在實驗的部分顯示了直接使用先前的手法生成反事實敘述的效果不佳。 在Polyjuice: Automated, general-purpose counterfactual generation這篇論文中，作者提出了使用\emph{Polyjuice}架構來生成多樣的反事實敘述，此架構可以控制輸出的反事實敘述的類型，但是\emph{Polyjuice}依然只是一種傳統方法的加強方法，沒辦法適用在我們的MIG任務中。 另外一種生成反事實敘述的方法是用錯誤選項生成的手法，錯誤選項生成的目標是給予了一篇文章、問題和正確答案後，模型能夠生成似是而非的錯誤選項，Distractor generation for multiple choice questions using learning to rank這篇研究是研究使用神經網路來生成錯誤選項的先驅，A bert-based distractor generation scheme with multi-tasking and negative answer training strategies這篇論文延續了前者的成果，把重點放在生成複數的錯誤選項並提出了一個負樣本學習策略(negative training strategy)來加強錯誤選項生成的效果。錯誤選項生成的任務設定與應用與我們的MIG任務不同，所以錯誤選項生成的手法無法應用於我們的任務中。 誤導推論生成(Abductive Inference Generation)\newline ## 簡介 在這篇文章中提出了一個自然語言的誤導推論生成任務，任務步驟是當給定了一個陳述事實的句子並給定上下文，模型會生成與該事實相反的推論句子，由此可以讓模型產生出多選題似是而非的錯誤選項。作者提出兩種訓練模型的方式，第一種是負樣本訓練(negative training)，在損失函數中結合了Base loss與由unlikelihood計算出的negative loss，這種方法成功解決了推論出的句子與原句太相似的問題。另一種方法是incoherent training，將一筆上下文的資料拆成四個部分，原始資料與誤導推論、原始資料與推論選項、前文與誤導推論、和誤導推論與後文，分別對其進行損失函數的計算，並在訓練模型時合併四個損失函數作為最終的損失函數。在改進生語句的誤導程度上，作者提出了在模型的最後一個隱藏層中加入了Proximal Policy Optimization，隱藏層的參數是由一個強化學習的代理人來預測，此方式能讓模型生成出更佳的誤導選項。