# 碩論方向(⊙_⊙;)
###### tags: `ಥ_ಥ`
https://2021.aclweb.org/program/accept/
https://zhuanlan.zhihu.com/p/385196031
https://dhx20150812.github.io/

善用PNG圖庫做簡報
重要的是解決了甚麼問題

## 翻譯
0
## Self-Supervised Learning (SSL)

## huggingface
https://arxiv.org/pdf/1909.08053.pdf
https://arxiv.org/pdf/2010.01057.pdf

SSL其實算是近幾年迸出來的新名詞，定義上回顧一下，unsupervised代表使用沒有標註的資料，supervised代表使用了有標註的資料、而semi-supervised 代表同時使用了有標註與沒有標註的資料。而self-supervised翻成中文大概是自監督學習，也就是沒有標註資料也會自己會學習的方法。這似乎越搞越糊塗了，感覺跟unsupervised learning有87%相似。

## Contrastive Learning (大陸很火)

Contrastive learning是self-supervised learning中非常naive的想法之一。像小孩子學習一樣，透過比較貓狗的同類相同之處與異類不同之處，在即使在不知道什麼是貓、什麼是狗的情況下 (甚至沒有語言定義的情況)，也可以學會分辨貓狗。
通過將數據分別與正例樣本和負例樣本在特徵空間進行對比，來學習樣本的特徵表示。Contrastive Methods主要的難點在於如何構造正負樣本。
https://zhuanlan.zhihu.com/p/141172794
http://mdeditor.tw/pl/gXpO/zh-hk
https://cloud.tencent.com/developer/article/1865713

### papers
https://blog.csdn.net/dongguanting/article/details/118857820?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162702007316780264047772%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=162702007316780264047772&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v29-3-118857820.pc_search_result_cache&utm_term=ACL+2021+%E7%AD%86%E8%A8%98&spm=1018.2226.3001.4187
_**SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization**_(NICE 太少頁QQ 用bart來生成 用roberta來scoring)

_**Contrastive Learning for Many-to-many Multilingual Neural Machine Translation**_
->本文的先驗假設是，如果兩句話說的是同一個意思，即使它們使用的語言不相同，那麼它們在語義空間中的表示也應該接近。所以本文的訓練目標是：文中使用了fancy的數據增強，同時使用單語和多語的數據進行對比。

## 實體識別(NER)

mRASP2:
https://zhuanlan.zhihu.com/p/379328100

https://arxiv.org/pdf/2106.08977.pdf

## Adversarial Training(對抗式)
====================
對抗例，是一種刻意製造的、讓機器學習模型判斷錯誤的輸入資

https://arxiv.org/abs/1909.11764

->找出一個新的訓練方式

## 用生成的方式產生dataset來讓效果改良

### paper list
#### open domain qa
https://arxiv.org/pdf/2101.00288.pdf

https://www.youtube.com/watch?v=ghbzVe6QLRI&ab_channel=HenryAILabs
->https://arxiv.org/pdf/2109.01156.pdf
->提到問題通常都太制式化 ，那我們就可以透過生出更多問題來增強效果(可當碩論)
#### IR:
https://arxiv.org/pdf/2011.13137.pdf
https://arxiv.org/pdf/2105.03599.pdf (DPR的延伸
https://arxiv.org/pdf/2009.08553.pdf(根據標題去找答案的線索)
Retrieval-Augmented Generation for
Knowledge-Intensive NLP Tasks(https://zhuanlan.zhihu.com/p/339942960
https://arxiv.org/pdf/2009.08553.pdf
#### 中文糾錯
PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction**
#### 生成
統整的github: https://github.com/teacherpeterpan/Question-Generation-Paper-List
challenges in generalization in open domain question answering

個性化生成:https://arxiv.org/pdf/2106.06169.pdf (BOB bert後面接一個bert EASY
https://arxiv.org/pdf/2101.00288.pdf (Polyjuice 生成反例來提升成績 原理:針對各種風格finetune不同的dataset)被講了
https://arxiv.org/pdf/2106.00791.pdf (DYPLOC
https://arxiv.org/pdf/2107.00152.pdf (利用語意圖表來進行對多句話時產生question 不錯)
https://arxiv.org/pdf/2105.03023.pdf (DEXPERTS

#### 非監督式風格轉換
https://arxiv.org/pdf/2105.08206.pdf(先有一個分類器可以找出風格的部分 然後再用生成 但方法效果似乎不大 資料好而已)

--------------------
https://arxiv.org/pdf/2106.10502.pdf(input改成樹狀)

https://arxiv.org/pdf/2105.11921.pdf

#### paraphrasing
https://aclanthology.org/P19-1605.pdf
**ProtAugment: Intent Detection Meta-Learning through Unsupervised Diverse Paraphrasing**
https://arxiv.org/pdf/2006.15020.pdf 透過zero shot翻譯成別的語言
https://arxiv.org/pdf/2106.07691.pdf
https://aclanthology.org/2020.acl-main.535.pdf
https://aclanthology.org/2021.findings-acl.135.pdf

#### prompt
https://blog.csdn.net/xixiaoyaoww/article/details/119363189?spm=1001.2014.3001.5501
https://www.youtube.com/watch?v=6RRdXnNd6XM&ab_channel=TechViz-TheDataScienceGuy
https://zhuanlan.zhihu.com/p/386470305
#### other
GOOGLE FINE
## 目前想法
QG or IR

ACL進度:
命名實體識別的模塊化交互網絡

## TO DO
Prompting Contrastive Explanations for Commonsense Reasoning Tasks
Leveraging Passage Retrieval with Generative Models
for Open Domain Question Answering

CHALLENGE IN OPENDOMAIN　QA